前OpenAI安全研究员称“安全没有被优先考虑”

时间:2024-09-20 编辑: 浏览:(976)

前OpenAI安全研究员Leopold Aschenbrenner表示,该公司的安全实践“严重不足”。在周二发布的对Dwarkesh Patel的视频采访中,Aschenbrerner谈到了优先事项上的内部冲突,这表明人们将重点转向以牺牲安全为代价的人工智能模型的快速增长和部署。

他还说,他是因为把自己的担忧写下来而被解雇的。

在一次长达四个小时的广泛对话中,Aschenbrenner告诉Patel,他去年写了一份内部备忘录,详细说明了自己的担忧,并在公司外部知名专家中传阅。然而,在几周后发生重大安全事件后,他表示,他决定与几名董事会成员分享一份最新的备忘录。他很快就被OpenAI释放了。

Aschenbrenner说:“当他们解雇我时,他们问我的问题也可能是有益的……这些问题是关于我对人工智能进展的看法,对AGI的适当安全级别,政府是否应该参与AGI,我和超级联盟团队是否忠于公司,以及我在OpenAI董事会活动中的表现。”。

AGI,或通用人工智能,是指人工智能在任何领域都达到或超过人类智能,无论它是如何训练的。

在他短暂离职后,对公司或萨姆·奥特曼的忠诚成为一个关键因素:超过90%的员工签署了一封信,威胁要辞职以声援他。他们还推广了这样一句口号:“没有人,开放人工智能什么都不是。”

Aschenbrenner回忆道:“尽管有压力,但我在董事会活动期间没有签署员工信。”。

由Ilya Sutskever和Jan Leike领导的超级联盟团队负责建立长期的安全实践,以确保人工智能与人类的期望保持一致。包括Sutskever和Leike在内的该团队知名成员的离职带来了更多的审查。整个团队随后解散,并宣布成立一个新的安全团队……由首席执行官Sam Altman领导,他也是OpenAI董事会的成员。

Aschenbrenner表示,OpenAI的行为与其关于安全的公开声明相矛盾。

“另一个例子是,当我提出安全问题时,他们会告诉我安全是我们的首要任务,”他说。“当需要投入大量资源或权衡采取基本措施时,安全总是没有被优先考虑。”

这与莱克的声明一致,莱克表示,在奥特曼的领导下,团队正在“逆风航行”,“安全文化和流程已经退居闪亮产品的次要地位”。

Aschenbrenner还表达了对AGI发展的担忧,强调了谨慎方法的重要性,尤其是在许多人担心中国正在努力推动AGI研究超越美国的情况下。

他说,中国“将竭尽全力渗透到美国的人工智能实验室,数十亿美元,数千人……(他们)将试图超越我们。”“事关重大的不仅仅是酷炫的产品,还有自由民主能否生存。”

就在几周前,据透露,OpenAI要求其员工签署滥用保密协议(NDA),阻止他们公开谈论公司的安全做法。

Aschenbrenner表示,他没有签署这样的保密协议,但表示有人向他提供了约100万美元的股权。

为了回应这些日益增长的担忧,近十几名OpenAI现任和前任员工同时签署了一封公开信,要求有权在不担心报复的情况下谴责公司的不当行为。

这封信得到了Yoshua Bengio、Geoffrey Hinton和Stuart Russell等行业人士的支持,强调人工智能公司需要致力于透明度和问责制。

信中写道:“只要政府对这些公司没有有效的监督,现任和前任员工就是少数能够让他们对公众负责的人之一——然而,广泛的保密协议阻碍了我们表达我们的担忧,除了那些可能未能解决这些问题的公司。”。“普通的举报人保护是不够的,因为它们专注于非法活动,而我们担心的许多风险尚未受到监管。

“鉴于整个行业此类案件的历史,我们中的一些人有理由担心各种形式的报复,”报告继续说道。“我们不是第一个遇到或谈论这些问题的人。”

在限制性就业条款的消息传开后,萨姆·奥特曼声称他不知道这种情况,并向公众保证他的法律团队正在努力解决这个问题。

他在推特上写道:“在我们之前的退出文件中,有一条关于潜在股权取消的规定;尽管我们从未收回任何东西,但这不应该是我们在任何文件或通信中看到的。”。“这是我的责任,也是我为数不多的几次在运行OpenAI时感到真正尴尬的事情之一;我不知道这会发生,我应该知道。”

OpenAI表示,自那以后,它已将所有员工从有争议的非贬低协议中释放出来,并从离职文件中删除了该条款。

OpenAI没有回应Decrypt的置评请求。

最新 更多 >
  • 1 美国债务违约会破坏加密货币价格反弹还是助长它?

    美国利率上升意味着美国政府现在偿还债务的利息超过了他们在军队上的全部支出。当前的债务还款将成为美国纳税人难以承受的负担,尤其是当人们认为我们现在也处于生活成本危机中时。美国债务违约将如何影响加密货币?许多人想知道美国债务违约将如何影响全球市场,有些人想知道这将如何损害加密货币行业。值得注意的是,美国政府从未正式违约他们的债务,但他们反而选择了在政治上更可行的选择:通过膨胀来解决问题(例如在 197