前OpenAI安全研究员称“安全没有被优先考虑”

时间:2024-09-30 编辑: 浏览:(397)

前OpenAI安全研究员Leopold Aschenbrenner表示,该公司的安全实践“严重不足”。在周二发布的对Dwarkesh Patel的视频采访中,Aschenbrerner谈到了优先事项上的内部冲突,这表明人们将重点转向以牺牲安全为代价的人工智能模型的快速增长和部署。

他还说,他是因为把自己的担忧写下来而被解雇的。

在一次长达四个小时的广泛对话中,Aschenbrenner告诉Patel,他去年写了一份内部备忘录,详细说明了自己的担忧,并在公司外部知名专家中传阅。然而,在几周后发生重大安全事件后,他表示,他决定与几名董事会成员分享一份最新的备忘录。他很快就被OpenAI释放了。

Aschenbrenner说:“当他们解雇我时,他们问我的问题也可能是有益的……这些问题是关于我对人工智能进展的看法,对AGI的适当安全级别,政府是否应该参与AGI,我和超级联盟团队是否忠于公司,以及我在OpenAI董事会活动中的表现。”。

AGI,或通用人工智能,是指人工智能在任何领域都达到或超过人类智能,无论它是如何训练的。

在他短暂离职后,对公司或萨姆·奥特曼的忠诚成为一个关键因素:超过90%的员工签署了一封信,威胁要辞职以声援他。他们还推广了这样一句口号:“没有人,开放人工智能什么都不是。”

Aschenbrenner回忆道:“尽管有压力,但我在董事会活动期间没有签署员工信。”。

由Ilya Sutskever和Jan Leike领导的超级联盟团队负责建立长期的安全实践,以确保人工智能与人类的期望保持一致。包括Sutskever和Leike在内的该团队知名成员的离职带来了更多的审查。整个团队随后解散,并宣布成立一个新的安全团队……由首席执行官Sam Altman领导,他也是OpenAI董事会的成员。

Aschenbrenner表示,OpenAI的行为与其关于安全的公开声明相矛盾。

“另一个例子是,当我提出安全问题时,他们会告诉我安全是我们的首要任务,”他说。“当需要投入大量资源或权衡采取基本措施时,安全总是没有被优先考虑。”

这与莱克的声明一致,莱克表示,在奥特曼的领导下,团队正在“逆风航行”,“安全文化和流程已经退居闪亮产品的次要地位”。

Aschenbrenner还表达了对AGI发展的担忧,强调了谨慎方法的重要性,尤其是在许多人担心中国正在努力推动AGI研究超越美国的情况下。

他说,中国“将竭尽全力渗透到美国的人工智能实验室,数十亿美元,数千人……(他们)将试图超越我们。”“事关重大的不仅仅是酷炫的产品,还有自由民主能否生存。”

就在几周前,据透露,OpenAI要求其员工签署滥用保密协议(NDA),阻止他们公开谈论公司的安全做法。

Aschenbrenner表示,他没有签署这样的保密协议,但表示有人向他提供了约100万美元的股权。

为了回应这些日益增长的担忧,近十几名OpenAI现任和前任员工同时签署了一封公开信,要求有权在不担心报复的情况下谴责公司的不当行为。

这封信得到了Yoshua Bengio、Geoffrey Hinton和Stuart Russell等行业人士的支持,强调人工智能公司需要致力于透明度和问责制。

信中写道:“只要政府对这些公司没有有效的监督,现任和前任员工就是少数能够让他们对公众负责的人之一——然而,广泛的保密协议阻碍了我们表达我们的担忧,除了那些可能未能解决这些问题的公司。”。“普通的举报人保护是不够的,因为它们专注于非法活动,而我们担心的许多风险尚未受到监管。

“鉴于整个行业此类案件的历史,我们中的一些人有理由担心各种形式的报复,”报告继续说道。“我们不是第一个遇到或谈论这些问题的人。”

在限制性就业条款的消息传开后,萨姆·奥特曼声称他不知道这种情况,并向公众保证他的法律团队正在努力解决这个问题。

他在推特上写道:“在我们之前的退出文件中,有一条关于潜在股权取消的规定;尽管我们从未收回任何东西,但这不应该是我们在任何文件或通信中看到的。”。“这是我的责任,也是我为数不多的几次在运行OpenAI时感到真正尴尬的事情之一;我不知道这会发生,我应该知道。”

OpenAI表示,自那以后,它已将所有员工从有争议的非贬低协议中释放出来,并从离职文件中删除了该条款。

OpenAI没有回应Decrypt的置评请求。

最新 更多 >
  • 1 Moonbag的顶级加密2024预售在Dogwifhat的衰落和BlastUP的骗局中备受关注

    您是否在寻找加密货币市场的下一个重大机遇?Dogwifhat股价下跌,引发投资者担忧。BlastUP面临着诈骗和有限影响力的挑战,影响了其增长潜力。MoonBag硬币预售以其丰厚的回报和零交易税吸引了投资者的兴趣。MoonBag的投资回报率高达15000%,是早期投资者不可否认的选择。凭借自由交易和巨大收益的潜力,MoonBag在拥挤的加密货币市场中脱颖而出。预售的结构化阶段和大公司的支持确保了强

  • 2 本周硬币:比特币和以太坊平分秋色,凯特琳·詹纳潜入Memes世界

    Mitchell Preffer解密插图。 对于比特币来说,这又是一个无聊的一周,但对于其他行业来说,这是一个不间断的疯狂。 比特币价格周一突破7万美元,但目前交易价格为67635美元,七天内下跌约2%。 其下跌的部分原因是有消息称,已倒闭的比特币交易所Mt.Gox昨天将价值90多亿美元的比特币转移到了一个未知的钱包,这导致市场认为债权人即将得到偿还。 自那以后,这家倒闭的交易所的前首席执行官Ma

  • 3 Arweave、AO、AI——模块化框架与灵活的安全性

    作者:Arweave Oasis,来源:推特@ArweaveOasis最近业内知名研究机构 Messari 发布了一篇题为《Arweave, AO, and AI - 模块化框架与灵活的安全性》的文章,作者为 seth bloomberg。内容非常丰富,对理解 AO 与 AR 架构与未来发展前景有较大的参考价值。但由于其有版权问题,所有无法全文翻译展现给读者。故笔者希望能从中截取片段,用解读的方式

  • 4 具有改变游戏规则技术的Altcoins

    介绍

  • 5 ARB与OP——哪一个L2的5月份表现最好?

    Blast抢了风头,因为它在增长方面排名第一。上个月,ARB的价格上涨了8%,而OP在短短30天内下跌了10%以上 在过去的几个月里,第二层越来越受欢迎,它们的增长导致以太坊的网络使用率下降。五月份主要L2的表现也是最近一份报告的主题。考虑到他们最近的表现,值得更仔细地观察他们的表现。 哪一个L2处于领先地位? Coin98最近分享了一份分析,重点介绍了市场顶级L2的表现。同样,Optimism[

  • 6 6月2日,现在投资的5个最佳Altcoins——Fetch.ai、Dogwifhat、Monero、BNB

    在加密货币市场的最新发展中,以太币ETF批准后的预期增长并没有像预测的那样迅速。这造成了市场形势的动荡。此外,鲸鱼活动打破了这一时期的混合信号,引发了市场的小幅上涨。 与此同时,比特币价格小幅上涨至67991.40美元,因为美联储正在评估应对美国持续通胀的技术。焦点已转移到BNB、Fetch ai、Monero和Dogwifhat等替代币上,随着新交易日的开始,每一种替代币都表现各异。 现在投资的

  • 7 Orbs Liquidity Hub扩展到Fantom并与SpookySwap集成

    以色列特拉维夫,2024年6月2日,柴维尔 领先的Fantom AMM SpookySwap宣布集成Orbs的旗舰L3协议Liquidity Hub。在SpookySwap中添加Orbs的流动性中心将使Fantom用户能够优化其链上交易,同时激励流动性提供商。 Liquidity Hub的推出使SpookySwap用户能够从Fantom上的广泛链上协议中获得更深层的流动性。该解决方案以Orbs先

  • 8 Cycle Capital:欧洲央行即将降息 美股切换普涨更近了?

    作者:Cycle Capital Research本周数据在周四GDP和周五PCE公布之前的数据相对Mix,相对重磅的一季度GDP修正值和4月PCE数据整体偏鸽,美联储重视的通胀指标核心PCE当月环比增长0.2%,低于预期的0.3%,未四舍五入后为0.249%,因此只向下舍入为0.2%,尽管仍低于前值的0.317%,但如此巧合的数字让人不禁怀疑数据操纵的可能性,以及实际降幅不到0.1个百分点,这样

  • 9 分析师表示,加密鲸在熊市情绪中突然吞噬了价值112000000美元的狗狗币

    一位加密货币分析师表示,鲸鱼在短短几天内突然积累了价值数千万美元的狗狗币。 加密货币策略师Ali Martinez告诉他在社交媒体平台X上的6.31万粉丝,深度投资者在短短72小时内就抢购了7亿美元,价值1.12亿美元。 资料来源:Ali Martinez/X 马丁内斯利用分析平台Santiment的数据表示,鲸鱼数量突然增加之际,人们对领先的模因币的情绪已降至2024年的低点。 “市场对狗狗币

  • 10 粉丝代币是一个骗局:比特币能填补体育融资的缺口吗?

    2019年末,尤文图斯推出了世界上第一个基于区块链的球迷代币,承诺将掀起球迷参与度的革命。快进到今天,每一个粉丝代币都经历了极端的波动,价格大多暴跌。这不仅仅是一场金融事故;这是一个根本性的设计失败。当我们度过这一后果时,一个新的地平线出现了:比特币和受监管的金融工具与可持续体育融资的金融公平竞争(FFP)法规完全一致。 粉丝代币创新的幻影 粉丝代币被誉为通过投票权和独家奖励加深粉丝参与度的创新工