Sam和Ilya的深层矛盾:有效加速主义Vs.超级“爱”对齐

时间:2024-09-23 编辑: 浏览:(982)

作者:陶芳波;来源:Tao写字的地方

我很懒,爱写字但从不发,但因为 OpenAI 这次分裂的历史意义太大,突然把我这几个月不太理解的事情,串到了一起。所以连夜写了人生第一篇公众号。

本文不讨论董事会政变的八卦,OpenAI 奇怪的治理结构,以及 Sam 和 Ilya 到底谁对谁错,我充分尊重这两个人的底层品质。如此不可思议的事情,必定藏着某种深层冲突。无论 Sam 最终是否会离开,本文探讨的冲突,应该会持续有效:

有效加速主义 和 超级“爱”对齐 的理念冲突,以及一个变量:GPT-5是数字生命,还是工具?

这些词看着唬人,尝试解释下。

有效加速主义

英文叫做 e/acc,是一群硅谷的科技精英们搞出来的一种科技价值观运动,你会发现有大量的 twitter 账号带有这个 e/acc 的后缀,可见其受众之广泛。比如下图分别是 Garry Tan(YC 现有掌门人)以及 Marc Andreessen(A16Z 的创始人)的账号。

那这到底是什么玩意儿,以及为什么会和 Sam 被驱逐有关?首先就要解释 e/acc。我的简单版理解:

1、人类应该无条件地加速技术创新,并快速推出他们,来颠覆社会结构。

2、e/acc 运动认为这种对社会的颠覆风险,本质上对人类有利,因为会迫使人类适应,从而帮助我们更快达到更高的意识水平。

3、过去三百年人类随着技术的颠覆而进化,结果显然都非常好。

很显然,e/acc 的支持者对 AGI 的态度也是一致的:让尽可能多的人参与,更快地推出产品,更快地颠覆,从而让人类更好地进化。是不是,有点「大力出奇迹」的意思?

Sam Altman是有效加速主义者吗?

我认为答案很确定,是的。尽管很多人说,你看 Sam 还去国会呼吁减速 AI 的发展,天天说 AI 的风险,不是应该是个「减速主义者」吗?其实他从来没有公开表达过自己 e/acc 的立场。但是似乎有一些蛛丝马迹让人相信。

MindOS 上分析到的小道消息

证据1:Garry Tan 作为 Sam 的接任者来执掌 YC,我很难想象他们不是一类人。以及有八卦说 Sam 被怀疑有小号来发表自己的加速主义立场。

证据2:这次 Sam 被驱逐,很多挂着 e/acc 的人已经把Sam当做一个象征。从 GPTs的仓促推出,对 Worldcoin 项目的大力投资,他是懂怎么「加速」的。

所以我倾向于认为,Sam的减速表象,是内部妥协,尤其是对Ilya的妥协。

超级对齐是什么?

我在今年7月看到Ilya说要成立一个「超级对齐」项目 的时候,也是一脸问号。难道ChatGPT这么生硬的表达,还不够对齐吗?

但最近我才逐渐理解了Ilya的意思。可以看这段两周前的采访,以及被人爆料的,Ilya在乎的「不是AI有情感,而是AI有对人类真正的爱」。听上去似乎是个让人无语的「白莲花阻碍进步」的故事吗?其实不然,可以听一下:

为了真正理解这句话,我们需要审视一下现在的对齐,一种是所谓的价值观层面(比如同性恋应该被尊重),一种是所谓的话题层面(比如不让搞黄色)。但这些真的够吗?如果是个聊天机器人(比如去年的 ChatGPT),那完全够了。但如果是个具有自主决策和行动能力的超级智能呢,可能就有一个大大的问号了。

为什么超级「爱」对齐那么重要?

所以超级对齐项目,本质是Super-LOVE-alignment,超级「爱」对齐。这种LOVE,是大爱,并非情爱,是人性底层那种无条件的,无关自我的,对于人类的爱,是一种「神性」的爱,一种就像孔子、耶稣、释迦摩尼这些给文明带来深远影响的无条件的爱。你或许觉得这样讲太戏剧性了,但如果人类的历史上,没有这些伟大的人格带来的伟大的精神,作为文明的压舱石,就凭自私的人类,今天的世界可能会糟糕的多。

一个有趣的个人插曲,是在3年前,我在一个分享中借鉴了唯识的思想,来把AI的意识发展分为,从感知(传统 AI,第1-5识),到认知(GPT-4,第6识),到自我意识(Autonomous AI Agent,第7识),到智慧和爱(AI Being?第8识)。而Ilya相信,AI能判断价值观是远远不够的,因为人类历史上也很多次出现了价值观上无懈可击,却最终酿成巨大悲剧的故事。

解法是什么?那就是让AI对齐那种底层的「无条件对人类的爱」,这可能是现有的对齐技术通过 RLHF 注入无法做到的。只有拥有了这个,那么比人更强大的AI才真的不会毁灭掉我们。当年我还认为这是科幻小说该考虑的问题,可见他的层次之高。

那不能先推出AGI,再修正呢?Ilya认为不能,他认为技术的本质类似于人类的生物进化(这点讽刺地和 e/acc 的人一致)。但他认为进化的起点很重要。如果进化的开始,是一个没有「无条件对人类的爱」的 AI,那最终也一定会把我们人类带到沟里去。

变量:AI是数字生命,还是工具

我们应该成为一个e/acc,还是超级「爱」对齐主义者?又为什么是现在这个时间点,突然驱逐掉Sam?这些决策背后突变的因素到底是什么?

先讲一个小背景:从各种消息源来个人猜测,OpenAI内部应该在几周前讨论了GPT-5的初步结果,能力上应该是非常颠覆的。而对下一步的行动,Sam和Ilya应该是有巨大的分歧(可以看到Sam在APEC上的发言,已经证实了这次突破的存在)。

要解答上面的问题,取决于你认为GPT-5上的智能体,是数字生命,还是工具?如果我们用最简单的标准,判断是否是「数字生命」,那就是「是否具有完全的自主性」,如果依赖人类来决策和使用的技术,那就只是「工具」。e/acc最大的悖论在于,所有我们历史上可以借鉴的案例,本质上都是「更好的工具」,这可能是 e/acc 起作用的原因。但如果现在出现的是「数字生命」呢?社会的一份子,甚至是社会的管理者呢?一个比人强大的数字生命,真的可以没有「底层的对人类的爱」吗?如果真的那样,我也会替人类的未来担心,何止是失业呢。

所以,你是一个e/acc,还是一个超级对齐主义者,本质上的区别在于你怎么看AI对社会的本质。

所以,我偏向于相信OpenAI应该搞定了一些关键技术,然后生产了一个非常颠覆的新版本,自主性大大增强。而Ilya认为在通过超级对齐为他注入「对人类的爱」之前,这个版本的 AI,必须要我们抛弃有效加速主义的思想。如果没法形成共识,就抛弃拥有这个思想的人,立刻,马上。

哪怕这个人,可能是人类历史上最厉害的几个CEO之一。

最新 更多 >
  • 1 Uniswap实验室反对美国证券交易委员会的油井通知,UNI价格飙升20%

    最大的去中心化交易平台之一的创建者Uniswap Labs正在挑战美国证券交易委员会(SEC)的潜在执法行动,认为加密代币不应被归类为证券。这家总部位于纽约的公司最近驳斥了有关其作为未注册交易所和经纪交易商运营的指控。此前,美国证券交易委员会向Uniswap实验室发布了《威尔斯通知》,表明其打算建议对该公司采取法律行动。Uniswap实验室对美国证券交易委员会的指控提出质疑在提交给美国证券交易委的

  • 2 在看跌趋势下,“索拉纳之夏”的复苏可能吗?

    索拉纳认为,在整个市场调整后,市场将出现巨大的看跌趋势。指标显示,短期内“索拉纳夏季”复苏的可能性很低。 上周,随着SOL在市场上取得了令人难以置信的卓越表现,“索拉纳之夏”这句话成为了每个人的口头禅。它的模因币让人们一夜之间成为百万富翁。 但随着以太坊ETF获批后市场的其他部分从大幅回调中挣扎,索拉纳一反常态地加入了空头行列。 索拉纳为什么倒下了? 索拉纳下跌的直接原因是整个市场的调整。专家们认

  • 3 比特币反弹即将到来:这一主要BTC指标再次变得看涨

    一个关键的比特币指标刚刚转为看涨,这引发了一位加密货币分析师对比特币即将上涨的乐观情绪。这种独特的技术模式表明,作为世界上最大的加密货币,其价格可能会进一步上涨,这可能会开启本周期备受欢迎的牛市。比特币技术模式翻转牛市比特币的价格通常遵循不同的历史模式,其中大多数指标都在大幅上涨或看跌趋势之前。比特币可能再次转向牛市的最令人信服的迹象之一是,稳定币供应比率(SSR)振荡器突破了用于衡量市场波动性和

  • 4 我们询问了ChatGPT-4,如果索拉纳ETF获得批准,SOL的价格是多少:

    1月份比特币(BTC)交易所交易基金(ETF)和5月份以太坊(ETH)ETF的批准为加密货币的采用翻开了新的篇章,因为这有助于缓解许多传统投资者对加密货币市场的敞口。这些举措还引发了一场新的辩论——哪种加密货币的拟议现货ETF将在下一步获得批准,最常见的答案似乎是索拉纳(SOL)。关于SOL ETF,一方面,一旦BTC和ETH被排除在外,可能会产生最大的兴趣。另一方面,美国证券交易委员会在针对加密

  • 5 数字健康公司如何利用GLP-1的繁荣

    在这篇文章中,LLY NOVO。B-DK关注您喜爱的股票获取免费账户 诺和诺德的重磅减肥药Wegovy的专利保护预计将在本世纪末到期,该药含有第二代GLP-1活性成分,其有效性至少是其两倍。Michael Siluk | UCG |盖蒂图片社 对于北卡罗来纳州夏洛特市的幼儿园老师灰胡子来说,减肥已经成为一项艰巨的任务。她一生中尝试了五个不同的项目,但都没有找到持久的结果。去年,当她在Insta

  • 6 Meme Coin 5%的推荐提升和MoonBag预售挑战Avalanche和Cardano

    有没有后悔过比特币第一次飙升时不信任加密货币?看着其他人成为亿万富翁,许多人都感受到了这种刺痛。好吧,永远不会太迟。一颗新星MoonBag加密货币已经进入市场,在预售阶段已经覆盖了38440000米。MoonBag(MBAG)准备以5%的推荐率和惊人的预售打破这一局面。它在这里以其独特的特色和增长潜力挑战雪崩和卡尔达诺等巨头。凭借透明的团队、安全的交易和清晰的路线图,MoonBag将激发潜在买家的

  • 7 礼来公司将在印第安纳州的工厂再投资53亿美元,以扩大Mounjaro和Zepbound的供应

    在这篇文章里LLY关注你最喜欢的股票REATE FREE帐号 2023年12月11日,礼来公司的减肥药Zepbound的注射笔在纽约市展出。Brendan McDermid |路透社 礼来公司周五表示,将在印第安纳州黎巴嫩的一家制造厂再投资53亿美元,以增加其广受欢迎的减肥药Zepbound、糖尿病治疗Mounjaro和其他药物的供应。在过去的一年里,对这些治疗方法的需求远远超过了供应,这加剧

  • 8 后以太坊ETF分析:ETH价格探底,牛市盯上5000美元目标

    美国证券交易委员会(SEC)最近于周四批准了以太坊ETF的申请,这引发了人们对随着交易启动日期的临近,该市场第二大加密货币下一步价格走势的猜测。然而,以太坊(ETH)向加密货币交易所的大量转移引发了人们对获利回吐、投资组合再平衡和潜在市场投机的担忧。抛售以太坊ETF绿光?加密货币分析师阿里·马丁内斯表示,这些发展与以太坊创始人杰弗里·威尔克将价值约3738万美元的10000 ETH转移到加密货币交

  • 9 审查报告显示,FTX在倒闭前向举报人支付了2500万美元

    现已倒闭的加密货币交易所FTX被曝光向六名发现其问题的举报人支付了价值超过2500万美元的款项。 与此同时,FTX仍欠在交易所倒闭后亏损的投资者约110亿美元。 审查员报告揭露举报者付款 根据审查员Robert Cleary周四的一份报告,其中一名未透露姓名的举报人是FTX。美国高管。他们透露,FTX集团误导了监管机构和投资者,缺乏适当的公司结构。然后,他们写信给前首席执行官Sam Bankman

  • 10 最佳加密应用程序:在Shiba Inu和PEPE价格上涨的情况下,BlockDAG与X1 Mining应用程序取得进展

    随着市场的反弹,Shiba Inu和Pepe的价值正在上升。BlockDAG作为投资者首选的加密货币应用程序的势头正在增强。BlockDAG在伦敦皮卡迪利广场的一场备受瞩目的活动中首次在CoinMarketCap上亮相后,推出了新的仪表板更新。此更新添加了一些功能,可提高社区内的透明度和用户体验。此外,还计划推出X1移动挖矿应用程序。行业专家建议,挖矿应用程序可能成为领先的加密货币应用程序。Blo