前OpenAI安全研究员称“安全没有被优先考虑”

时间:2024-09-24 编辑: 浏览:(126)

前OpenAI安全研究员Leopold Aschenbrenner表示,该公司的安全实践“严重不足”。在周二发布的对Dwarkesh Patel的视频采访中,Aschenbrerner谈到了优先事项上的内部冲突,这表明人们将重点转向以牺牲安全为代价的人工智能模型的快速增长和部署。

他还说,他是因为把自己的担忧写下来而被解雇的。

在一次长达四个小时的广泛对话中,Aschenbrenner告诉Patel,他去年写了一份内部备忘录,详细说明了自己的担忧,并在公司外部知名专家中传阅。然而,在几周后发生重大安全事件后,他表示,他决定与几名董事会成员分享一份最新的备忘录。他很快就被OpenAI释放了。

Aschenbrenner说:“当他们解雇我时,他们问我的问题也可能是有益的……这些问题是关于我对人工智能进展的看法,对AGI的适当安全级别,政府是否应该参与AGI,我和超级联盟团队是否忠于公司,以及我在OpenAI董事会活动中的表现。”。

AGI,或通用人工智能,是指人工智能在任何领域都达到或超过人类智能,无论它是如何训练的。

在他短暂离职后,对公司或萨姆·奥特曼的忠诚成为一个关键因素:超过90%的员工签署了一封信,威胁要辞职以声援他。他们还推广了这样一句口号:“没有人,开放人工智能什么都不是。”

Aschenbrenner回忆道:“尽管有压力,但我在董事会活动期间没有签署员工信。”。

由Ilya Sutskever和Jan Leike领导的超级联盟团队负责建立长期的安全实践,以确保人工智能与人类的期望保持一致。包括Sutskever和Leike在内的该团队知名成员的离职带来了更多的审查。整个团队随后解散,并宣布成立一个新的安全团队……由首席执行官Sam Altman领导,他也是OpenAI董事会的成员。

Aschenbrenner表示,OpenAI的行为与其关于安全的公开声明相矛盾。

“另一个例子是,当我提出安全问题时,他们会告诉我安全是我们的首要任务,”他说。“当需要投入大量资源或权衡采取基本措施时,安全总是没有被优先考虑。”

这与莱克的声明一致,莱克表示,在奥特曼的领导下,团队正在“逆风航行”,“安全文化和流程已经退居闪亮产品的次要地位”。

Aschenbrenner还表达了对AGI发展的担忧,强调了谨慎方法的重要性,尤其是在许多人担心中国正在努力推动AGI研究超越美国的情况下。

他说,中国“将竭尽全力渗透到美国的人工智能实验室,数十亿美元,数千人……(他们)将试图超越我们。”“事关重大的不仅仅是酷炫的产品,还有自由民主能否生存。”

就在几周前,据透露,OpenAI要求其员工签署滥用保密协议(NDA),阻止他们公开谈论公司的安全做法。

Aschenbrenner表示,他没有签署这样的保密协议,但表示有人向他提供了约100万美元的股权。

为了回应这些日益增长的担忧,近十几名OpenAI现任和前任员工同时签署了一封公开信,要求有权在不担心报复的情况下谴责公司的不当行为。

这封信得到了Yoshua Bengio、Geoffrey Hinton和Stuart Russell等行业人士的支持,强调人工智能公司需要致力于透明度和问责制。

信中写道:“只要政府对这些公司没有有效的监督,现任和前任员工就是少数能够让他们对公众负责的人之一——然而,广泛的保密协议阻碍了我们表达我们的担忧,除了那些可能未能解决这些问题的公司。”。“普通的举报人保护是不够的,因为它们专注于非法活动,而我们担心的许多风险尚未受到监管。

“鉴于整个行业此类案件的历史,我们中的一些人有理由担心各种形式的报复,”报告继续说道。“我们不是第一个遇到或谈论这些问题的人。”

在限制性就业条款的消息传开后,萨姆·奥特曼声称他不知道这种情况,并向公众保证他的法律团队正在努力解决这个问题。

他在推特上写道:“在我们之前的退出文件中,有一条关于潜在股权取消的规定;尽管我们从未收回任何东西,但这不应该是我们在任何文件或通信中看到的。”。“这是我的责任,也是我为数不多的几次在运行OpenAI时感到真正尴尬的事情之一;我不知道这会发生,我应该知道。”

OpenAI表示,自那以后,它已将所有员工从有争议的非贬低协议中释放出来,并从离职文件中删除了该条款。

OpenAI没有回应Decrypt的置评请求。

最新 更多 >
  • 1 INJ币对于初学者的友好程度是怎样的?

    INJ币对于初学者的友好程度是怎样的?随着加密货币市场的迅速发展,越来越多的人开始关注和投资数字货币。对于初学者来说,找到一种友好程度高的币种至关重要。INJ币(Injective Protocol)是一种具有很高友好程度的加密货币,以下将介绍其友好程度的几个方面。1. 简单易用的平台INJ币的交易平台非常简单易用,使得初学者能够轻松快速地进行交易。无论是交易界面还是交易流程,都设计得十分简洁明了

  • 2 NEO币的KYC和AML政策是什么?

    NEO币的KYC和AML政策是什么?NEO币(前身为Antshares)是中国首个开源区块链项目,旨在构建智能经济基础。为了确保NEO生态系统的合规性和安全性,NEO采用了一系列的KYC(了解您的客户)和AML(反洗钱)政策。1. KYC政策KYC政策旨在满足监管机构和法律法规的要求,确保数字货币交易平台和用户进行身份验证和实名认证。NEO的KYC政策包括以下重要步骤:用户注册:在加入NEO生态系

  • 3 NEO币的共识机制是怎样的?

    NEO币的共识机制NEO币是一种基于区块链技术的数字货币,它采用了一种称为共识机制的协议来维护整个网络的安全和稳定性。NEO币的共识机制主要包括两个部分:拜占庭容错和委任权益证明。拜占庭容错拜占庭容错是指在分布式系统中,网络中的节点可以达成一致的决策,即使部分节点发生了错误或恶意操作。NEO币的共识机制通过拜占庭容错算法来确保网络中的节点可以达成共识。NEO币采用了一种称为“拜占庭共识”(Byza

  • 4 如何购买和存储RNDR币?

    如何购买和存储RNDR币?在数字货币领域有各种各样的加密货币,在众多的币种中,RNDR(Render Token)是一个备受关注的项目。如果你对RNDR感兴趣,并希望购买和储存RNDR币,下面是一些简单的步骤来帮助你实现目标。购买RNDR币的步骤:1. 创建数字货币交易所账户:首先,你需要选择一家受信任的数字货币交易所,并创建一个账户。一些知名的交易所例如Binance、Coinbase、Huob

  • 5 投资MKR币的风险和潜在回报是怎样的?

    投资MKR币的风险和潜在回报MKR币(Maker)是由一家名为MakerDAO的去中心化自治组织发行的加密货币,被设计用于支持去中心化稳定币Dai的稳定和治理。尽管MKR的市值相对较小,但它在加密货币市场中备受关注。然而,投资MKR币也有一定的风险和潜在回报。下面将探讨这些方面。风险1.市场波动性:加密货币市场非常不稳定,价格波动大。MKR币也不例外。如果市场条件恶化,MKR币的价格可能大幅下跌,

  • 6 SAND币是否支持智能合约?

    SAND币是否支持智能合约? SAND是一种基于以太坊区块链的虚拟货币,它是非同质化代币(NFT)。虽然SAND本身并不是定义智能合约的货币,但作为一种NFT代币,它可以在智能合约中使用。以下将介绍SAND在智能合约中的支持情况。 首先,SAND可以在以太坊上创建和交易的智能合约中作为资产使用。智能合约是一种去中心化的自动化协议,可以在无需第三方介入的情况下执行预定的任务。用户可以创建包含SAN

  • 7 SAND币在整个区块链生态系统中的角色是什么?

    SAND币在整个区块链生态系统中的角色是什么? 近年来,区块链技术的发展引起了全球范围内的关注。作为加密货币的一种,SAND币在整个区块链生态系统中扮演着重要的角色。本文将就SAND币在区块链生态系统中的角色进行详细探讨。 1. 货币功能 首先,SAND币是一种数字货币,具备货币的基本功能。用户可以使用SAND币进行购买、支付和交易等各种交易活动。作为一种可在区块链中流通的数字资产,SAND币提

  • 8 NEO币的市场流动性和深度如何?

    NEO币的市场流动性和深度如何?NEO币作为区块链行业的一种数字资产,已经在市场上取得了广泛的认可。它作为中国首个开源公链项目,被誉为“中国的以太坊”,在市场上具有很好的流动性和深度。首先,NEO币的市场流动性非常高。流动性是指市场中可以进行高效、快速买卖的资产数量。NEO币在全球范围内多个知名加密货币交易所上线并交易,如Binance、OKEx、Huobi等。这些交易所为NEO币提供了充足的流动

  • 9 投资FTM币的风险和潜在回报是怎样的?

    风险和潜在回报:投资FTM币的考虑在加密货币市场中,投资者不断寻找投资组合中的明星币种。一个备受关注的项目是Fantom(FTM)币。然而,所有投资都伴随着风险和潜在回报。在考虑投资FTM币之前,有必要了解其风险和潜在回报的特点。风险1. 波动性:FTM币是一个相对较新的数字资产,其价格容易受到市场波动的影响。价格波动可能是剧烈的,可能导致投资者的本金损失。2. 技术风险:FTM项目是一个基于区块

  • 10 THETA币是否支持智能合约?

    THETA币是否支持智能合约?THETA币是一种基于区块链技术的加密货币,旨在支持去中心化的视频和流媒体平台。作为THETA网络的代币,THETA币具有用于内容共享和转移的功能。然而,与其他一些主要的加密货币(如以太坊)相比,THETA币目前并不支持完整的智能合约功能。智能合约是一种在区块链上编程和执行的代码,它可以自动执行特定条件下的交易和合约。以太坊是最著名的支持智能合约的区块链网络,它使得开