Sam和Ilya的深层矛盾:有效加速主义Vs.超级“爱”对齐

时间:2024-09-19 编辑: 浏览:(339)

作者:陶芳波;来源:Tao写字的地方

我很懒,爱写字但从不发,但因为 OpenAI 这次分裂的历史意义太大,突然把我这几个月不太理解的事情,串到了一起。所以连夜写了人生第一篇公众号。

本文不讨论董事会政变的八卦,OpenAI 奇怪的治理结构,以及 Sam 和 Ilya 到底谁对谁错,我充分尊重这两个人的底层品质。如此不可思议的事情,必定藏着某种深层冲突。无论 Sam 最终是否会离开,本文探讨的冲突,应该会持续有效:

有效加速主义 和 超级“爱”对齐 的理念冲突,以及一个变量:GPT-5是数字生命,还是工具?

这些词看着唬人,尝试解释下。

有效加速主义

英文叫做 e/acc,是一群硅谷的科技精英们搞出来的一种科技价值观运动,你会发现有大量的 twitter 账号带有这个 e/acc 的后缀,可见其受众之广泛。比如下图分别是 Garry Tan(YC 现有掌门人)以及 Marc Andreessen(A16Z 的创始人)的账号。

那这到底是什么玩意儿,以及为什么会和 Sam 被驱逐有关?首先就要解释 e/acc。我的简单版理解:

1、人类应该无条件地加速技术创新,并快速推出他们,来颠覆社会结构。

2、e/acc 运动认为这种对社会的颠覆风险,本质上对人类有利,因为会迫使人类适应,从而帮助我们更快达到更高的意识水平。

3、过去三百年人类随着技术的颠覆而进化,结果显然都非常好。

很显然,e/acc 的支持者对 AGI 的态度也是一致的:让尽可能多的人参与,更快地推出产品,更快地颠覆,从而让人类更好地进化。是不是,有点「大力出奇迹」的意思?

Sam Altman是有效加速主义者吗?

我认为答案很确定,是的。尽管很多人说,你看 Sam 还去国会呼吁减速 AI 的发展,天天说 AI 的风险,不是应该是个「减速主义者」吗?其实他从来没有公开表达过自己 e/acc 的立场。但是似乎有一些蛛丝马迹让人相信。

MindOS 上分析到的小道消息

证据1:Garry Tan 作为 Sam 的接任者来执掌 YC,我很难想象他们不是一类人。以及有八卦说 Sam 被怀疑有小号来发表自己的加速主义立场。

证据2:这次 Sam 被驱逐,很多挂着 e/acc 的人已经把Sam当做一个象征。从 GPTs的仓促推出,对 Worldcoin 项目的大力投资,他是懂怎么「加速」的。

所以我倾向于认为,Sam的减速表象,是内部妥协,尤其是对Ilya的妥协。

超级对齐是什么?

我在今年7月看到Ilya说要成立一个「超级对齐」项目 的时候,也是一脸问号。难道ChatGPT这么生硬的表达,还不够对齐吗?

但最近我才逐渐理解了Ilya的意思。可以看这段两周前的采访,以及被人爆料的,Ilya在乎的「不是AI有情感,而是AI有对人类真正的爱」。听上去似乎是个让人无语的「白莲花阻碍进步」的故事吗?其实不然,可以听一下:

为了真正理解这句话,我们需要审视一下现在的对齐,一种是所谓的价值观层面(比如同性恋应该被尊重),一种是所谓的话题层面(比如不让搞黄色)。但这些真的够吗?如果是个聊天机器人(比如去年的 ChatGPT),那完全够了。但如果是个具有自主决策和行动能力的超级智能呢,可能就有一个大大的问号了。

为什么超级「爱」对齐那么重要?

所以超级对齐项目,本质是Super-LOVE-alignment,超级「爱」对齐。这种LOVE,是大爱,并非情爱,是人性底层那种无条件的,无关自我的,对于人类的爱,是一种「神性」的爱,一种就像孔子、耶稣、释迦摩尼这些给文明带来深远影响的无条件的爱。你或许觉得这样讲太戏剧性了,但如果人类的历史上,没有这些伟大的人格带来的伟大的精神,作为文明的压舱石,就凭自私的人类,今天的世界可能会糟糕的多。

一个有趣的个人插曲,是在3年前,我在一个分享中借鉴了唯识的思想,来把AI的意识发展分为,从感知(传统 AI,第1-5识),到认知(GPT-4,第6识),到自我意识(Autonomous AI Agent,第7识),到智慧和爱(AI Being?第8识)。而Ilya相信,AI能判断价值观是远远不够的,因为人类历史上也很多次出现了价值观上无懈可击,却最终酿成巨大悲剧的故事。

解法是什么?那就是让AI对齐那种底层的「无条件对人类的爱」,这可能是现有的对齐技术通过 RLHF 注入无法做到的。只有拥有了这个,那么比人更强大的AI才真的不会毁灭掉我们。当年我还认为这是科幻小说该考虑的问题,可见他的层次之高。

那不能先推出AGI,再修正呢?Ilya认为不能,他认为技术的本质类似于人类的生物进化(这点讽刺地和 e/acc 的人一致)。但他认为进化的起点很重要。如果进化的开始,是一个没有「无条件对人类的爱」的 AI,那最终也一定会把我们人类带到沟里去。

变量:AI是数字生命,还是工具

我们应该成为一个e/acc,还是超级「爱」对齐主义者?又为什么是现在这个时间点,突然驱逐掉Sam?这些决策背后突变的因素到底是什么?

先讲一个小背景:从各种消息源来个人猜测,OpenAI内部应该在几周前讨论了GPT-5的初步结果,能力上应该是非常颠覆的。而对下一步的行动,Sam和Ilya应该是有巨大的分歧(可以看到Sam在APEC上的发言,已经证实了这次突破的存在)。

要解答上面的问题,取决于你认为GPT-5上的智能体,是数字生命,还是工具?如果我们用最简单的标准,判断是否是「数字生命」,那就是「是否具有完全的自主性」,如果依赖人类来决策和使用的技术,那就只是「工具」。e/acc最大的悖论在于,所有我们历史上可以借鉴的案例,本质上都是「更好的工具」,这可能是 e/acc 起作用的原因。但如果现在出现的是「数字生命」呢?社会的一份子,甚至是社会的管理者呢?一个比人强大的数字生命,真的可以没有「底层的对人类的爱」吗?如果真的那样,我也会替人类的未来担心,何止是失业呢。

所以,你是一个e/acc,还是一个超级对齐主义者,本质上的区别在于你怎么看AI对社会的本质。

所以,我偏向于相信OpenAI应该搞定了一些关键技术,然后生产了一个非常颠覆的新版本,自主性大大增强。而Ilya认为在通过超级对齐为他注入「对人类的爱」之前,这个版本的 AI,必须要我们抛弃有效加速主义的思想。如果没法形成共识,就抛弃拥有这个思想的人,立刻,马上。

哪怕这个人,可能是人类历史上最厉害的几个CEO之一。

最新 更多 >
  • 1 比特币价格下跌令投资者担忧-最新加密货币新闻

    比特币价格已从峰值暴跌2万美元,引发投资者对进一步下跌可能性的广泛担忧。许多人认为,当前的低迷意味着熊市的开始,牛市在每个周期都会达到峰值。但事实真的是这样吗? 内容隐藏1加密牛市结束了吗?2顶级交易员期待什么?3用户可用推断 加密货币牛市结束了吗? 期货的持仓量明显下降。仅狗狗币(DOGE)一个月内的未平仓合约就从约100亿美元降至约20亿美元。这一趋势反映在许多altcoin

  • 2 通过多个指标看大饼现阶段是否可以抄底

    德子这两天一直没闲着砸盘,但是市场盘面并没有新低,反而是缓慢向上拉升,这种走势背后其实就是机构正在拥入,这一点可以直接从比特币ETF持仓情况看出来。目前4小时级别正在缓慢修复,不过2次底部有效支撑已经告诉市场足够的信号了,面对这种走势,大家应该努力去寻找底部优质的山寨,在趋势面前不要害怕,信号一旦出现,就大胆一点。1、目前,部分指标显示比特币下跌差不多接近底部。2、抛售信号暂未出现,适合持币或者继

  • 3 BUX在收购中任命新任首席风险与合规官

    荷兰银行旗下的荷兰新经纪公司BUX今天(星期三)宣布任命Nontya Mtshaulana为首席风险与合规官和管理委员会成员。她的新角色将于2024年9月1日生效。 维护客户和利益相关者的利益 在BUX,她将领导公司的风险、法律和合规工作,并确保维护客户和利益相关者利益的做法。 Mtshaulana说:“BUX的使命是让每个人都能获得、直观和负担得起投资,这与我的职业价值观完全一致,我期待着通过确

  • 4 现货ETF推迟导致以太坊价格停滞,若是通过能不能带来一波大的拉升

    由于现货 ETF 批准延迟,第二大加密货币以太坊(ETH)仍维持在 3100 美元左右的水平,削弱了购买压力。本周,以太坊价格未能突破 200 日 EMA,并继续在 3100 美元以下挣扎,导致买家实力不足。尽管同类货币均出现了两位数的复苏,但 ETH 表现出疲软的复苏势头,反映出买家增持的下跌。以太坊价格显示出较弱的买盘势头,并暗示在现货 ETF 获得批准之前,短期内将维持盘整。近期媒体报道称,

  • 5 Nuant:为数字资产管理树立新标准

    瑞士祖格,2024年7月9日,Chainware 今天标志着基金、风投、数字资产投资者和加密货币公司向前迈出了重要一步。经过一年的精心开发、战略联盟和严格测试,Nuant很高兴地宣布推出其创新平台,用于监控数字资产组合和设计先进战略。 Nuant的平台提供了专门为数字资产设计的全面360度智能解决方案。它聚合来自多个来源的数据,与各种提供商集成,并将所有信息集中到一个智能仪表板中。这消除了对电子

  • 6 万字解析Web3支付赛道:全球化支付的未来

    来源:Gryphsis Academy 支付是加密货币生态系统中的关键场景,每天链上链下都有数万笔加密货币支付在发生。一个新的加密货币通常会因其实际的支付用途而增值,支付也成为连接 Web2 世界和 Web3 世界的重要桥梁。 在 Web3 支付这门生意中,有人靠提供支付通道赚得盆满钵满,另一些人则专注于打造更安全的钱包技术。那么,在 Web3 世界中,资金究竟是如何转移的呢?本文将带你深入了解

  • 7 生成人工智能?高盛表示,没关系

    科技爱好者们,请戴上帽子,因为高盛刚刚在正在进行的生成性人工智能传奇中抛出了一个曲线球。在他们的最新报告中,这家投资巨头似乎已经将措辞从谨慎乐观转变为对人工智能投资的直接利益持怀疑态度。 这家全球投资银行公司2024年6月的报告《人工智能一代:支出太多,收益太少?》为那些看好人工智能的人提供了现实检验。尽管科技行业蓬勃发展,预计将在人工智能基础设施上投入惊人的1万亿美元,但该报告强调了麻省理工学院

  • 8 公布ESMA第五次压力测试结果

    欧洲证券和市场管理局(ESMA)公布了其对中央交易对手(CCP)的第五次压力测试的结果,这些结果描绘了一个强大但成熟的系统,值得改进。虽然压力测试证实了欧盟CCP对严重市场动荡的抵御能力,但同时也突显了重大差距,特别是在气候风险和集中风险管理的整合方面。 气候风险:一个新的维度 ESMA的压力测试是《欧洲市场基础设施条例》(EMIR)规定的一项关键测试,旨在探究CCP在极端条件下的应变能力。今年的

  • 9 Grayscale目标7月18日可能创建ETH ETF

    Grayscale,最大的加密资产管理公司之一,宣布计划于7月18日创建和分发GrayscaleEthereum Mini Trust,即ETH Trust。 ETH Trust的股票将分配给其原始以太坊信托产品ETHE的持有人,目的是在纽约证券交易所Arca以ETH的股票代码上市。ETH持有者将有权在美国东部时间7月18日下午4:00以1:1的比例获得ETH股票。 分布表-灰度 这一消息发布之

  • 10 牛市中途深度调整 一览下半场值得关注的 Solana 生态五大潜力项目

    近期有关加密货币的利空消息让市场行情一度陷入了恐慌之中,短期利空的落地也将伴随着接下来市场的蓄势。对于投资者来说,现在布局超跌潜力项目不失为一个不错的机会。作为本轮牛市值得关注的两大生态,Solana和TON的快速发展和吸金效应,使其成为不少投资者重点布局的方向。其中Solana生态相对TON发展更加成熟,Solana 在创新能力和大规模采用方面都有不可忽视的优势。随着以太坊ETF临近上市,Van