Sam和Ilya的深层矛盾:有效加速主义Vs.超级“爱”对齐

时间:2024-09-21 编辑: 浏览:(180)

作者:陶芳波;来源:Tao写字的地方

我很懒,爱写字但从不发,但因为 OpenAI 这次分裂的历史意义太大,突然把我这几个月不太理解的事情,串到了一起。所以连夜写了人生第一篇公众号。

本文不讨论董事会政变的八卦,OpenAI 奇怪的治理结构,以及 Sam 和 Ilya 到底谁对谁错,我充分尊重这两个人的底层品质。如此不可思议的事情,必定藏着某种深层冲突。无论 Sam 最终是否会离开,本文探讨的冲突,应该会持续有效:

有效加速主义 和 超级“爱”对齐 的理念冲突,以及一个变量:GPT-5是数字生命,还是工具?

这些词看着唬人,尝试解释下。

有效加速主义

英文叫做 e/acc,是一群硅谷的科技精英们搞出来的一种科技价值观运动,你会发现有大量的 twitter 账号带有这个 e/acc 的后缀,可见其受众之广泛。比如下图分别是 Garry Tan(YC 现有掌门人)以及 Marc Andreessen(A16Z 的创始人)的账号。

那这到底是什么玩意儿,以及为什么会和 Sam 被驱逐有关?首先就要解释 e/acc。我的简单版理解:

1、人类应该无条件地加速技术创新,并快速推出他们,来颠覆社会结构。

2、e/acc 运动认为这种对社会的颠覆风险,本质上对人类有利,因为会迫使人类适应,从而帮助我们更快达到更高的意识水平。

3、过去三百年人类随着技术的颠覆而进化,结果显然都非常好。

很显然,e/acc 的支持者对 AGI 的态度也是一致的:让尽可能多的人参与,更快地推出产品,更快地颠覆,从而让人类更好地进化。是不是,有点「大力出奇迹」的意思?

Sam Altman是有效加速主义者吗?

我认为答案很确定,是的。尽管很多人说,你看 Sam 还去国会呼吁减速 AI 的发展,天天说 AI 的风险,不是应该是个「减速主义者」吗?其实他从来没有公开表达过自己 e/acc 的立场。但是似乎有一些蛛丝马迹让人相信。

MindOS 上分析到的小道消息

证据1:Garry Tan 作为 Sam 的接任者来执掌 YC,我很难想象他们不是一类人。以及有八卦说 Sam 被怀疑有小号来发表自己的加速主义立场。

证据2:这次 Sam 被驱逐,很多挂着 e/acc 的人已经把Sam当做一个象征。从 GPTs的仓促推出,对 Worldcoin 项目的大力投资,他是懂怎么「加速」的。

所以我倾向于认为,Sam的减速表象,是内部妥协,尤其是对Ilya的妥协。

超级对齐是什么?

我在今年7月看到Ilya说要成立一个「超级对齐」项目 的时候,也是一脸问号。难道ChatGPT这么生硬的表达,还不够对齐吗?

但最近我才逐渐理解了Ilya的意思。可以看这段两周前的采访,以及被人爆料的,Ilya在乎的「不是AI有情感,而是AI有对人类真正的爱」。听上去似乎是个让人无语的「白莲花阻碍进步」的故事吗?其实不然,可以听一下:

为了真正理解这句话,我们需要审视一下现在的对齐,一种是所谓的价值观层面(比如同性恋应该被尊重),一种是所谓的话题层面(比如不让搞黄色)。但这些真的够吗?如果是个聊天机器人(比如去年的 ChatGPT),那完全够了。但如果是个具有自主决策和行动能力的超级智能呢,可能就有一个大大的问号了。

为什么超级「爱」对齐那么重要?

所以超级对齐项目,本质是Super-LOVE-alignment,超级「爱」对齐。这种LOVE,是大爱,并非情爱,是人性底层那种无条件的,无关自我的,对于人类的爱,是一种「神性」的爱,一种就像孔子、耶稣、释迦摩尼这些给文明带来深远影响的无条件的爱。你或许觉得这样讲太戏剧性了,但如果人类的历史上,没有这些伟大的人格带来的伟大的精神,作为文明的压舱石,就凭自私的人类,今天的世界可能会糟糕的多。

一个有趣的个人插曲,是在3年前,我在一个分享中借鉴了唯识的思想,来把AI的意识发展分为,从感知(传统 AI,第1-5识),到认知(GPT-4,第6识),到自我意识(Autonomous AI Agent,第7识),到智慧和爱(AI Being?第8识)。而Ilya相信,AI能判断价值观是远远不够的,因为人类历史上也很多次出现了价值观上无懈可击,却最终酿成巨大悲剧的故事。

解法是什么?那就是让AI对齐那种底层的「无条件对人类的爱」,这可能是现有的对齐技术通过 RLHF 注入无法做到的。只有拥有了这个,那么比人更强大的AI才真的不会毁灭掉我们。当年我还认为这是科幻小说该考虑的问题,可见他的层次之高。

那不能先推出AGI,再修正呢?Ilya认为不能,他认为技术的本质类似于人类的生物进化(这点讽刺地和 e/acc 的人一致)。但他认为进化的起点很重要。如果进化的开始,是一个没有「无条件对人类的爱」的 AI,那最终也一定会把我们人类带到沟里去。

变量:AI是数字生命,还是工具

我们应该成为一个e/acc,还是超级「爱」对齐主义者?又为什么是现在这个时间点,突然驱逐掉Sam?这些决策背后突变的因素到底是什么?

先讲一个小背景:从各种消息源来个人猜测,OpenAI内部应该在几周前讨论了GPT-5的初步结果,能力上应该是非常颠覆的。而对下一步的行动,Sam和Ilya应该是有巨大的分歧(可以看到Sam在APEC上的发言,已经证实了这次突破的存在)。

要解答上面的问题,取决于你认为GPT-5上的智能体,是数字生命,还是工具?如果我们用最简单的标准,判断是否是「数字生命」,那就是「是否具有完全的自主性」,如果依赖人类来决策和使用的技术,那就只是「工具」。e/acc最大的悖论在于,所有我们历史上可以借鉴的案例,本质上都是「更好的工具」,这可能是 e/acc 起作用的原因。但如果现在出现的是「数字生命」呢?社会的一份子,甚至是社会的管理者呢?一个比人强大的数字生命,真的可以没有「底层的对人类的爱」吗?如果真的那样,我也会替人类的未来担心,何止是失业呢。

所以,你是一个e/acc,还是一个超级对齐主义者,本质上的区别在于你怎么看AI对社会的本质。

所以,我偏向于相信OpenAI应该搞定了一些关键技术,然后生产了一个非常颠覆的新版本,自主性大大增强。而Ilya认为在通过超级对齐为他注入「对人类的爱」之前,这个版本的 AI,必须要我们抛弃有效加速主义的思想。如果没法形成共识,就抛弃拥有这个思想的人,立刻,马上。

哪怕这个人,可能是人类历史上最厉害的几个CEO之一。

最新 更多 >
  • 1 Shiba Inu概述了Shibarium的未来

    Shiba Inu概述了计划在2024/2025年周期实施的Shibarium生态系统的即将发展。 值得注意的是,Shiba Inu的营销负责人Lucie在最近的一条推文中概述了即将到来的Shibarium相关发展。 #Shibarium在2024/2025年会发生什么#Shibaswap(1.75版之后是2.0版)–#Shibahub–@treatsforShib–#Shiba永恒P2E–@m

  • 2 币安创始人赵长鹏已认罪 被判处36个月监禁

    币安创始人赵长鹏承认违反美国反洗钱法,检察官建议判处他 36 个月监禁。赵的案件预计将于 4 月 30 日在西雅图宣判。去年11月,他辞去了首席执行官一职,并与美国司法部达成了43亿美元的和解协议。作为认罪协议的一部分,赵同意支付 5000 万美元的罚款。检察官辩称,考虑到赵违法行为的故意性质和后果,36 个月的刑期是合理的,超过了联邦量刑指南规定的最长 18 个月。赵目前已缴纳 1.75 亿美元

  • 3 新的加密货币值得关注:VR代币第五次诈骗通过ICO筹集550万美元

    虚拟现实(VR)游戏世界再次成为头条新闻。 以太坊上的一个新VR元宇宙项目5th Scape通过其首次代币发行(ICO)筹集了超过550万美元,投资者在正式启动前介入。 第五届Scape Primed将推出沉浸式VR游戏宇宙 5th Scape是一个VR游戏平台,它突破了我们体验娱乐和元宇宙的界限。 它将提供一个进入超现实3D游戏世界的门户,通过尖端的图形、精确的运动跟踪和全身沉浸感将其栩栩如生

  • 4 4.26 比特币下跌没有继续 关注突破信号拿下一波上涨趋势

    24小时内币圈重要资讯 1. Immutable推出5000万美元游戏奖励计划;2. 区块链公司Movement Labs融资3800万美元;3. Consensys起诉美SEC试图将ETH归类为证券;4. Pantera Capital从FTX拍卖中获得一批打折的SOL;5. FBI警告美国人不要使用未经注册的加密货币传输服务;6. Coinbase国际站将上线AEVO、ENA、ETHFI永续合

  • 5 区块链动态2024年4月26日早参考

    00:00-10:00关键词:DePIN项目Natix完成460万美元融资、贝莱德ETF钱包已收到价值超2万美元的Runes代币空投、Stripe时隔六年后重启接受加密货币支付、预警:诈骗者恶意修改RPC节点链接骗取资产、交易所钱包的USDT余额创一年来新高并持续攀升、Celsius贷款债权人考虑对Celsius重组计划提出上诉、BONK社区投票赞成其代币销毁提议、灰度GBTC昨日流出1.4亿美元

  • 6 以下是截至4月26日Ripple与SEC的最新更新

    治安法官Sarah Netburn已就Ripple驳回美国证券交易委员会支持其补救动议的一份专家材料的动议发布了日程安排令。 美国证券交易委员会和Ripple之间正在进行的法律纠纷继续收到可能影响其结果的最新消息。 在最新进展中,美国地区法官Sarah Netburn发布了一项新的日程安排命令,重点关注Ripple的动议,即排除美国证券交易委员会为支持其补救措施相关简报而提交的新专家材料。 Rip

  • 7 L7迪拜TOKEN2049尋踪:支持多場活动共話Web3革新之旅

    儘管2024年4月在迪拜Madinat Jumeirah舉行的為期兩天的TOKEN2049大會,已經圓滿落下帷幕,全球加密行業依然回味著這一盛事所帶來的深遠影響。作為一場關於加密市場動向和產品創新交流的峰會,TOKEN2049成為了一個集結行業專家、開發人員、用戶進行高層次討論的場所。與此同時,基於該峰會衍生出的各類週邊活動,更是從4月15日持續到21日。這些精彩的活動囊括了各類研討會、工作坊、沙

  • 8 dogwifhat价格预测:5美元仍在WIF的卡上吗?

    dogwifhat已经成为模因币市值最高的公司。WIF的交易价格上涨了16%以上。 dogwifhat[WIF]最近加入了以狗为主题的模因币乐队,为景观增添了新的视角。尽管它姗姗来迟,但数据表明,它已经迅速整合,并已经在争夺模因币类别的领先地位。 然而,尽管该代币的价格显著上涨,但围绕该代币的整体情绪尚未完全跟上。下面我们来看看dogwifhat的价格预测。 dogwifhat跳到第三个位置 根据

  • 9 致近期几个“抠门”的Restaking项目方:格局越大,市值越高

    最近几个re-re-staking项目,只给holders很小比例的Token,很可能是一个错误决定。 对于很多re-re-staking项目来说,TVL其实就是这个项目的一切。如果拿掉TVL,一切设想:AVS、Hub、策略器、Liquid restaking token、L2、Restaking层都并不真实存在。TVL才是真正的恩人。 在曾经的DeFi Summer中,YFI在一周之内分发了10

  • 10 CATGPT在24小时内飙升2000%

    Solana memecoin领域充满了兴奋,CatGpt 在短短一天内就经历了超过 2000% 的惊人飙升。 根据dex screener的数据,CatGpt目前市值为3300万美元,目前交易价格为0.007美元,标志着其估值出现前所未有的飞跃。一位精明的投资者(地址为 6PmK…6Y1HM)因其在利用 CatGpt 的迅速崛起方面取得的巨大成功而脱颖而出。通过战略性地驾驭波动的市场动态,这位投