Sam和Ilya的深层矛盾:有效加速主义Vs.超级“爱”对齐

时间:2024-09-20 编辑: 浏览:(343)

作者:陶芳波;来源:Tao写字的地方

我很懒,爱写字但从不发,但因为 OpenAI 这次分裂的历史意义太大,突然把我这几个月不太理解的事情,串到了一起。所以连夜写了人生第一篇公众号。

本文不讨论董事会政变的八卦,OpenAI 奇怪的治理结构,以及 Sam 和 Ilya 到底谁对谁错,我充分尊重这两个人的底层品质。如此不可思议的事情,必定藏着某种深层冲突。无论 Sam 最终是否会离开,本文探讨的冲突,应该会持续有效:

有效加速主义 和 超级“爱”对齐 的理念冲突,以及一个变量:GPT-5是数字生命,还是工具?

这些词看着唬人,尝试解释下。

有效加速主义

英文叫做 e/acc,是一群硅谷的科技精英们搞出来的一种科技价值观运动,你会发现有大量的 twitter 账号带有这个 e/acc 的后缀,可见其受众之广泛。比如下图分别是 Garry Tan(YC 现有掌门人)以及 Marc Andreessen(A16Z 的创始人)的账号。

那这到底是什么玩意儿,以及为什么会和 Sam 被驱逐有关?首先就要解释 e/acc。我的简单版理解:

1、人类应该无条件地加速技术创新,并快速推出他们,来颠覆社会结构。

2、e/acc 运动认为这种对社会的颠覆风险,本质上对人类有利,因为会迫使人类适应,从而帮助我们更快达到更高的意识水平。

3、过去三百年人类随着技术的颠覆而进化,结果显然都非常好。

很显然,e/acc 的支持者对 AGI 的态度也是一致的:让尽可能多的人参与,更快地推出产品,更快地颠覆,从而让人类更好地进化。是不是,有点「大力出奇迹」的意思?

Sam Altman是有效加速主义者吗?

我认为答案很确定,是的。尽管很多人说,你看 Sam 还去国会呼吁减速 AI 的发展,天天说 AI 的风险,不是应该是个「减速主义者」吗?其实他从来没有公开表达过自己 e/acc 的立场。但是似乎有一些蛛丝马迹让人相信。

MindOS 上分析到的小道消息

证据1:Garry Tan 作为 Sam 的接任者来执掌 YC,我很难想象他们不是一类人。以及有八卦说 Sam 被怀疑有小号来发表自己的加速主义立场。

证据2:这次 Sam 被驱逐,很多挂着 e/acc 的人已经把Sam当做一个象征。从 GPTs的仓促推出,对 Worldcoin 项目的大力投资,他是懂怎么「加速」的。

所以我倾向于认为,Sam的减速表象,是内部妥协,尤其是对Ilya的妥协。

超级对齐是什么?

我在今年7月看到Ilya说要成立一个「超级对齐」项目 的时候,也是一脸问号。难道ChatGPT这么生硬的表达,还不够对齐吗?

但最近我才逐渐理解了Ilya的意思。可以看这段两周前的采访,以及被人爆料的,Ilya在乎的「不是AI有情感,而是AI有对人类真正的爱」。听上去似乎是个让人无语的「白莲花阻碍进步」的故事吗?其实不然,可以听一下:

为了真正理解这句话,我们需要审视一下现在的对齐,一种是所谓的价值观层面(比如同性恋应该被尊重),一种是所谓的话题层面(比如不让搞黄色)。但这些真的够吗?如果是个聊天机器人(比如去年的 ChatGPT),那完全够了。但如果是个具有自主决策和行动能力的超级智能呢,可能就有一个大大的问号了。

为什么超级「爱」对齐那么重要?

所以超级对齐项目,本质是Super-LOVE-alignment,超级「爱」对齐。这种LOVE,是大爱,并非情爱,是人性底层那种无条件的,无关自我的,对于人类的爱,是一种「神性」的爱,一种就像孔子、耶稣、释迦摩尼这些给文明带来深远影响的无条件的爱。你或许觉得这样讲太戏剧性了,但如果人类的历史上,没有这些伟大的人格带来的伟大的精神,作为文明的压舱石,就凭自私的人类,今天的世界可能会糟糕的多。

一个有趣的个人插曲,是在3年前,我在一个分享中借鉴了唯识的思想,来把AI的意识发展分为,从感知(传统 AI,第1-5识),到认知(GPT-4,第6识),到自我意识(Autonomous AI Agent,第7识),到智慧和爱(AI Being?第8识)。而Ilya相信,AI能判断价值观是远远不够的,因为人类历史上也很多次出现了价值观上无懈可击,却最终酿成巨大悲剧的故事。

解法是什么?那就是让AI对齐那种底层的「无条件对人类的爱」,这可能是现有的对齐技术通过 RLHF 注入无法做到的。只有拥有了这个,那么比人更强大的AI才真的不会毁灭掉我们。当年我还认为这是科幻小说该考虑的问题,可见他的层次之高。

那不能先推出AGI,再修正呢?Ilya认为不能,他认为技术的本质类似于人类的生物进化(这点讽刺地和 e/acc 的人一致)。但他认为进化的起点很重要。如果进化的开始,是一个没有「无条件对人类的爱」的 AI,那最终也一定会把我们人类带到沟里去。

变量:AI是数字生命,还是工具

我们应该成为一个e/acc,还是超级「爱」对齐主义者?又为什么是现在这个时间点,突然驱逐掉Sam?这些决策背后突变的因素到底是什么?

先讲一个小背景:从各种消息源来个人猜测,OpenAI内部应该在几周前讨论了GPT-5的初步结果,能力上应该是非常颠覆的。而对下一步的行动,Sam和Ilya应该是有巨大的分歧(可以看到Sam在APEC上的发言,已经证实了这次突破的存在)。

要解答上面的问题,取决于你认为GPT-5上的智能体,是数字生命,还是工具?如果我们用最简单的标准,判断是否是「数字生命」,那就是「是否具有完全的自主性」,如果依赖人类来决策和使用的技术,那就只是「工具」。e/acc最大的悖论在于,所有我们历史上可以借鉴的案例,本质上都是「更好的工具」,这可能是 e/acc 起作用的原因。但如果现在出现的是「数字生命」呢?社会的一份子,甚至是社会的管理者呢?一个比人强大的数字生命,真的可以没有「底层的对人类的爱」吗?如果真的那样,我也会替人类的未来担心,何止是失业呢。

所以,你是一个e/acc,还是一个超级对齐主义者,本质上的区别在于你怎么看AI对社会的本质。

所以,我偏向于相信OpenAI应该搞定了一些关键技术,然后生产了一个非常颠覆的新版本,自主性大大增强。而Ilya认为在通过超级对齐为他注入「对人类的爱」之前,这个版本的 AI,必须要我们抛弃有效加速主义的思想。如果没法形成共识,就抛弃拥有这个思想的人,立刻,马上。

哪怕这个人,可能是人类历史上最厉害的几个CEO之一。

最新 更多 >
  • 1 现货以太ETF将于周二交易。以下是它对以太坊区块链的意义

    现货以太交易所交易基金将于周二开始交易。加密货币爱好者希望它能扩大以太坊的投资者基础,许多人认为以太坊是一种区块链技术,其用例比比特币要广泛得多。这些ETF将直接投资于以太坊网络中使用的加密货币以太币。已经有追踪期货合约的以太ETF,但这些是第一个追踪现货以太币的。现货以太坊ETF应用Grayscale Ethereum Mini Trust(ETH)Grayscale以太坊信托(ETHE)Bit

  • 2 百思买努力恢复销售增长,从人工智能热潮中获利

    百思买周二宣布了新的计划,试图扭转两年来的销售下滑,并从期待已久的新冠肺炎时期的采购替换周期和新一轮的创新中获利。这家消费电子产品零售商表示,将在其商店的关键部分增加训练有素的销售团队,制作更多的YouTube视频来激发客户的好奇心,并以新的标语启动营销活动:“想象一下。”在接受CNBC采访时,首席执行官科里·巴里表示,客户告诉百思买,零售商的商店体验和他们提供的技术“失去了一些亮点”。她补充说,

  • 3 以太坊ETF清除最后障碍,明天开始交易

    美国证券交易委员会(SEC)已最终批准以太坊ETF现货交易,为这些基金最早于7月23日星期二开始交易扫清了道路。 这些基金在5月份获得了美国证券交易委员会的初步批准,这是一次令人惊讶的监管转变,最近几周,这些基金一直在发送更新和最终确定的表格。现在,424(b)项批准正在进行中,美国证券交易委员会已使以太坊现货ETF生效,这意味着它们可以开始交易。 7月23日成为上周早些时候交易开始的可能目标,因

  • 4 彭博社:Ripple首席执行官在下周会议后对美国证券交易委员会的诉讼决议充满信心

    Ripple首席执行官表示有信心在下周的一次会议后不久解决与美国证券交易委员会(SEC)的长期法律纠纷。 据彭博社报道,Ripple首席执行官Brad Garlinghouse暗示,可能很快就会达成和解,特别是在下周与美国证券交易委员会举行闭门会议之后。 据彭博社报道,Ripple首席执行官Brad Garlinghouse预计该公司将很快解决与美国证券交易委员会长达数年的诉讼。据推测,XRP将

  • 5 巨鲸价格飙升至三个月高点,获得140000000 XRP

    市场数据显示,鲸鱼最近积累了超过1.4亿XRP,价值约8400万美元,恰逢XRP价格大幅反弹。 在过去的一周里,鲸鱼在XRP市场上做出了重大举措,推动其价格上涨。市场分析师阿里·马丁内斯援引情报平台Santiment的数据透露,有影响力的投资者购买了超过1.4亿XRP,价值约8400万美元。 Santiment的各种图表反映了鲸鱼活动的增加,显示了鲸鱼持有量与价格走势之间的明显相关性。 上周,鲸

  • 6 检查Shiba Inu的市场动态:交易量困境对比特币的提振

    Shiba Inu看到兴奋和市场活动增加,但面临交易量下降的挑战。比特币的看涨趋势可能会推高Shiba Inu的价格。 Shiba Inu(SHIB)最近的价格走势在其持有者中引起了极大的兴奋。截至发稿时,Shiba Inu的定价为0.00001785美元,在过去24小时内上涨了0.40%。 尽管市场活动活跃,日交易量为422566277美元,但SHIB的表现不如其他模因币,交易量较低,市值停滞不

  • 7 Coinbase前CTO:10图看懂美国经济只能选择印钞机?

    作者:Balaji Srinivasan,Coinbase前CTO、The Network State作者;编译:0xjs@ 任何选举都无法偿还美国175万亿美元的债务。只有印钞机可以。 因为正如马斯克、达利欧和其他人意识到的那样……西方世界正走向一场比2008年更严重的主权债务危机。就像他们一直在撒谎说拜登老年痴呆一样,他们也在撒谎说经济状况如何。所以他们会印很多钱。 看看数据,你自己就能判断。

  • 8 ETHCC五大关键点总结

    作者:0xWendy,IOSG Ventures 来源:X,@0xWendy991. Infra和应用之间投资的不平衡无论是V神的发言还是现场的交流,多数一级投资人都意识到了基础设施和应用之间的不平衡,更多的兴趣开始转移到消费者应用上。Paradigm也筹集了新资金用于消费者方向的投资,但现场关于消费者应用的想象力仍然局限,多局限于类似于 pump.fun 的仿盘和 tgbot 产品。链上交易走向

  • 9 对话Aise Network CEO Henry:探索GPU与Web3技术的未来

    在与中国社区的一次深度交流中,Aise Network的首席执行官Henry分享了他对GPU计算资源租赁服务的愿景以及Web3技术在这一领域的应用。Aise Network是一家致力于提供高性能GPU计算资源租赁服务的平台,通过创新技术和灵活服务模式,为多个行业提供高效、便捷的计算资源支持。Henry详细阐述了GPU在人工智能(AI)和机器学习领域的关键作用,以及Aise Network如何利用W

  • 10 拜登退出后,Polymarket Punter的利润飙升至首位,支持哈里斯

    在乔·拜登总统周日宣布他不会在11月寻求连任后,一位Polymarket交易员的利润飙升。 这名交易员的用户名为“Revenge Tour19B4”,在多个政治预测市场持有头寸,包括对副总统卡玛拉·哈里斯入主白宫的结果进行押注。 根据Polymarket的数据,该用户购买了671081股,预计哈里斯的提名平均价格约为每股0.28美元。上一次在这一水平上交易是在7月18日,就在拜登宣布退出竞选的几天