Sam和Ilya的深层矛盾:有效加速主义Vs.超级“爱”对齐

时间:2024-09-30 编辑: 浏览:(183)

作者:陶芳波;来源:Tao写字的地方

我很懒,爱写字但从不发,但因为 OpenAI 这次分裂的历史意义太大,突然把我这几个月不太理解的事情,串到了一起。所以连夜写了人生第一篇公众号。

本文不讨论董事会政变的八卦,OpenAI 奇怪的治理结构,以及 Sam 和 Ilya 到底谁对谁错,我充分尊重这两个人的底层品质。如此不可思议的事情,必定藏着某种深层冲突。无论 Sam 最终是否会离开,本文探讨的冲突,应该会持续有效:

有效加速主义 和 超级“爱”对齐 的理念冲突,以及一个变量:GPT-5是数字生命,还是工具?

这些词看着唬人,尝试解释下。

有效加速主义

英文叫做 e/acc,是一群硅谷的科技精英们搞出来的一种科技价值观运动,你会发现有大量的 twitter 账号带有这个 e/acc 的后缀,可见其受众之广泛。比如下图分别是 Garry Tan(YC 现有掌门人)以及 Marc Andreessen(A16Z 的创始人)的账号。

那这到底是什么玩意儿,以及为什么会和 Sam 被驱逐有关?首先就要解释 e/acc。我的简单版理解:

1、人类应该无条件地加速技术创新,并快速推出他们,来颠覆社会结构。

2、e/acc 运动认为这种对社会的颠覆风险,本质上对人类有利,因为会迫使人类适应,从而帮助我们更快达到更高的意识水平。

3、过去三百年人类随着技术的颠覆而进化,结果显然都非常好。

很显然,e/acc 的支持者对 AGI 的态度也是一致的:让尽可能多的人参与,更快地推出产品,更快地颠覆,从而让人类更好地进化。是不是,有点「大力出奇迹」的意思?

Sam Altman是有效加速主义者吗?

我认为答案很确定,是的。尽管很多人说,你看 Sam 还去国会呼吁减速 AI 的发展,天天说 AI 的风险,不是应该是个「减速主义者」吗?其实他从来没有公开表达过自己 e/acc 的立场。但是似乎有一些蛛丝马迹让人相信。

MindOS 上分析到的小道消息

证据1:Garry Tan 作为 Sam 的接任者来执掌 YC,我很难想象他们不是一类人。以及有八卦说 Sam 被怀疑有小号来发表自己的加速主义立场。

证据2:这次 Sam 被驱逐,很多挂着 e/acc 的人已经把Sam当做一个象征。从 GPTs的仓促推出,对 Worldcoin 项目的大力投资,他是懂怎么「加速」的。

所以我倾向于认为,Sam的减速表象,是内部妥协,尤其是对Ilya的妥协。

超级对齐是什么?

我在今年7月看到Ilya说要成立一个「超级对齐」项目 的时候,也是一脸问号。难道ChatGPT这么生硬的表达,还不够对齐吗?

但最近我才逐渐理解了Ilya的意思。可以看这段两周前的采访,以及被人爆料的,Ilya在乎的「不是AI有情感,而是AI有对人类真正的爱」。听上去似乎是个让人无语的「白莲花阻碍进步」的故事吗?其实不然,可以听一下:

为了真正理解这句话,我们需要审视一下现在的对齐,一种是所谓的价值观层面(比如同性恋应该被尊重),一种是所谓的话题层面(比如不让搞黄色)。但这些真的够吗?如果是个聊天机器人(比如去年的 ChatGPT),那完全够了。但如果是个具有自主决策和行动能力的超级智能呢,可能就有一个大大的问号了。

为什么超级「爱」对齐那么重要?

所以超级对齐项目,本质是Super-LOVE-alignment,超级「爱」对齐。这种LOVE,是大爱,并非情爱,是人性底层那种无条件的,无关自我的,对于人类的爱,是一种「神性」的爱,一种就像孔子、耶稣、释迦摩尼这些给文明带来深远影响的无条件的爱。你或许觉得这样讲太戏剧性了,但如果人类的历史上,没有这些伟大的人格带来的伟大的精神,作为文明的压舱石,就凭自私的人类,今天的世界可能会糟糕的多。

一个有趣的个人插曲,是在3年前,我在一个分享中借鉴了唯识的思想,来把AI的意识发展分为,从感知(传统 AI,第1-5识),到认知(GPT-4,第6识),到自我意识(Autonomous AI Agent,第7识),到智慧和爱(AI Being?第8识)。而Ilya相信,AI能判断价值观是远远不够的,因为人类历史上也很多次出现了价值观上无懈可击,却最终酿成巨大悲剧的故事。

解法是什么?那就是让AI对齐那种底层的「无条件对人类的爱」,这可能是现有的对齐技术通过 RLHF 注入无法做到的。只有拥有了这个,那么比人更强大的AI才真的不会毁灭掉我们。当年我还认为这是科幻小说该考虑的问题,可见他的层次之高。

那不能先推出AGI,再修正呢?Ilya认为不能,他认为技术的本质类似于人类的生物进化(这点讽刺地和 e/acc 的人一致)。但他认为进化的起点很重要。如果进化的开始,是一个没有「无条件对人类的爱」的 AI,那最终也一定会把我们人类带到沟里去。

变量:AI是数字生命,还是工具

我们应该成为一个e/acc,还是超级「爱」对齐主义者?又为什么是现在这个时间点,突然驱逐掉Sam?这些决策背后突变的因素到底是什么?

先讲一个小背景:从各种消息源来个人猜测,OpenAI内部应该在几周前讨论了GPT-5的初步结果,能力上应该是非常颠覆的。而对下一步的行动,Sam和Ilya应该是有巨大的分歧(可以看到Sam在APEC上的发言,已经证实了这次突破的存在)。

要解答上面的问题,取决于你认为GPT-5上的智能体,是数字生命,还是工具?如果我们用最简单的标准,判断是否是「数字生命」,那就是「是否具有完全的自主性」,如果依赖人类来决策和使用的技术,那就只是「工具」。e/acc最大的悖论在于,所有我们历史上可以借鉴的案例,本质上都是「更好的工具」,这可能是 e/acc 起作用的原因。但如果现在出现的是「数字生命」呢?社会的一份子,甚至是社会的管理者呢?一个比人强大的数字生命,真的可以没有「底层的对人类的爱」吗?如果真的那样,我也会替人类的未来担心,何止是失业呢。

所以,你是一个e/acc,还是一个超级对齐主义者,本质上的区别在于你怎么看AI对社会的本质。

所以,我偏向于相信OpenAI应该搞定了一些关键技术,然后生产了一个非常颠覆的新版本,自主性大大增强。而Ilya认为在通过超级对齐为他注入「对人类的爱」之前,这个版本的 AI,必须要我们抛弃有效加速主义的思想。如果没法形成共识,就抛弃拥有这个思想的人,立刻,马上。

哪怕这个人,可能是人类历史上最厉害的几个CEO之一。

最新 更多 >
  • 1 FameEX 加密货币每日晨报新闻丨8月5日, 2024

    鲸鱼地址从交易所提现的比特币数量创下 9 年来新高尽管市场持续波动,鲸鱼地址从交易所提现的比特币数量仍然达到了九年以来的历史新高。仅在今年 7 月份,比特币鲸鱼就大约增持了  84,000 BTC,这是自 2015 年以来,比特币从交易所撤出速度最快的时刻,当时比特币价格大约触底在 220 美元左右。美国银行预计美联储可能在 9 月降息 25 个基点美国银行预计,7 月份非农就业数据弱于预期,加上

  • 2 Bankless:波场TRON是近一年来所有L1和L2中盈利能力最强的区块链项目

    7月31日,知名加密媒体平台Bankless发布研究文章。文章指出,在过去一年中,波场TRON盈利2.71亿美元,是所有L1和L2中盈利能力最强的区块链项目。文章还提到,波场网络拥有庞大的稳定币活动,尤其在阿根廷、土耳其和非洲等新兴市场表现强劲,这也凸显了波场TRON对于发展中经济体的重要作用。更多详情:bankless.com/which-blockchains-actually-make-mo

  • 3 PEPE 难以维持支持水平!

    PEPE 难以维持支持水平Pepe (PEPE) 最近的股价走势显示,有可能在 0.000008 美元至 0.000013 美元之间建立区间。尽管试图将公允价值差距作为支撑区域,但 PEPE 已跌回局部低点 0.000008 美元,这一水平在 7 月的低迷之后曾提供一些稳定性。链上指标和清算数据指向延长的看跌阶段,因此密切监控这些支撑阈值至关重要。链上数据分析深入研究链上数据表明,0.000008

  • 4 狗狗币 (DOGE) 的价格跟随比特币和以太坊一同下跌

    狗狗币兑美元汇率跌破0.1150美元区间后,开始大幅下跌。目前,狗狗币的交易价格低于0.100美元,并显现出许多看跌迹象。DOGE价格从远高于0.1200美元的枢轴区域下跌超过15%。价格低于0.100美元水平和100小时简单移动平均线。在DOGE/USD对的小时图上,形成了一条关键的看跌趋势线,阻力位在0.1000美元(数据来源于Kraken)。除非价格突破0.100美元的阻力区,否则可能会继续

  • 5 FINMA执行稳定币发行规则-最新加密货币新闻

    稳定币作为波动的加密货币市场和更稳定的法定货币之间的稳定力量,正在获得吸引力。通常与美元或欧元等货币挂钩,它们有助于缓解比特币和以太坊等加密货币的价格波动。作为全球金融和创新中心,瑞士正在稳定币领域取得进展。金融市场监管局(FINMA)提出了严格的指导方针,将稳定币发行人视为传统金融机构。 内容隐藏1 FINMA的新指南是什么?2加密货币社区的反应如何?3全球监管趋势4对瑞士金融市场的影响5关键

  • 6 屠杀|比特币插针49000「创半年最大跌幅」

    天崩地裂!8月5日,或将成为历史上最令人恐慌的黑色星期一。全球股市到加密货币市场几乎无一幸免,全部进入大暴跌模式。最近24小时内,BTC最低下探到49000美元。一周内,BTC从7月29日的超7万美元,直接下跌30%最近24小时,共有 23万人被爆仓,爆仓总金额为 $9.12亿,最大单笔爆仓单发生在 HTX: BTC-USD多单 $2700.01万合约虽然给很多人带来了短时的收益和快感,但是又有多

  • 7 加密货币期货创下10亿美元的清算记录,因为比特币没有下跌,以太坊自2021年以来跌幅最大

    在市场抛售的情况下,加密货币跟踪期货在过去24小时内清算了超过10亿美元,以太坊期货清算了3.04亿美元。超过20万名交易员被清算,火币上最大的单笔清算订单价值2700万美元。比特币和以太币价格下跌,以太币经历了自2021年5月以来的最大单日跌幅,加密货币恐惧和贪婪指数显示“恐惧” 随着周日市场抛售加剧,加密货币追踪期货在过去24小时内记录了超过10亿美元的清算。

  • 8 比特币"创半年最大跌幅" 将面临长期熊市?发生了什么?

    比特币从昨晚10 点左右,从六万美元水平开始不断下杀,撰稿当下最低来到52,430 美元,创下近半年来最大跌幅。撰稿当下报53,474 美元,近24 小时跌幅达11.9%。CoinMarkeCap 数据显示,其他前十大代币近24 小时普跌,跌幅最大的是BNB,达16.05%,其他如SOL、XRP、 DOGE…跌幅也都有10~15 %。全网近24 小时爆仓7.1 亿美元根据Coinglass 数据显

  • 9 Solana的急剧下跌及其对投资者情绪的影响、还有没有上涨的可能

    SOL是什么?它是Solana 的本机和实用代币,提供了一种通过质押转移价值和区块链安全性的手段。 SOL 于2020 年3 月推出,并努力成为总市值排名前10 位的加密货币之一。 SOL具有三个主要用例:质押、交易费用和治理。 SOL代币操作方案与以太坊区块链中使用的类似。接下来就让我们来看一看SOL的近期状况。在加密货币市场大幅下跌的一周中,  Solana [SOL]受到的打击尤其严重。So

  • 10 大多数比特币二层网络将无法生存:银河研究

    比特币第二层扩展网络——尤其是“汇总”——一直是加密货币开发者圈子里的热门话题,是保持比特币支付便宜、快速和去中心化的新手段。尽管他们吹嘘自己的承诺,但银河研究公司的数据和分析表明,绝大多数比特币的汇总将是不可持续的。 Galaxy分析师Gabe Parker在周五发布的一份报告中写道:“将数据发布到基础层的比特币汇总将面临一个重大问题:发布数据的成本。”。“比特币的汇总将需要从他们自己的网络上的