前OpenAI首席科学家启动“安全”竞争对手人工智能实验室

著名人工智能研究员、OpenAI前首席科学家Ilya Sutskever成立了一家新的人工智能研究公司，该公司将专注于他和其他批评者所说的前雇主的盲点：安全。

他的新公司Safe Superintelligence股份有限公司（SSI）由苹果公司前人工智能主管Daniel Gross和曾在OpenAI工作的Daniel Levy共同创立。该公司的唯一目标是同时提高人工智能的安全性和能力。

这家新公司周三在推特上写道：“我们将以一个焦点、一个目标和一种产品，直截了当地追求安全的超级智能。”。“我们将通过一个小团队的革命性突破来实现这一目标。”

Sutskever去年离开OpenAI之前，内部关系紧张，包括对安全问题的担忧退居利润之后。对于SSI，他旨在避免大型人工智能公司经常面临的管理开销或产品周期的干扰。

SSI网站上的一份官方声明写道：“我们的商业模式意味着安全、保障和进步都与短期商业压力隔绝。”。“这样，我们就可以和平地扩大规模。”

SSI将是一个纯粹以研究为重点的组织，而不是OpenAI目前的商业模式，后者包括其人工智能模型的商业化。顾名思义，SSI的第一个也是唯一一个产品将是一个安全的超级智能。

Sutskever向彭博社解释道：“我们所说的安全，是指像核安全这样的安全，而不是‘信任和安全’这样的安全。”。

该公司的使命是扩大伊利亚对与人类利益“超协调”的关注，纯粹专注于开发，而不是他所说的分散OpenAI注意力的“闪亮产品”。

Sutskever认为，SSI的人工智能系统在准备就绪后，将比当前的大型语言模型更通用，能力更广泛。最终目标是创造一种“安全的超级智能”，它不会伤害人类，并将基于自由和民主等价值观运作。

他告诉彭博社：“在最基本的层面上，安全的超级智能应该具有不会大规模伤害人类的特性。”。

SSI将在美国和以色列设立总部，目前正在招聘。

这家新公司在推特上写道：“我们提供了一个做你一生工作的机会，并帮助解决我们这个时代最重要的技术挑战。”。

在关键成员离职后，OpenAI决定解散负责长期人工智能安全的超级校准团队。

Sutskever是OpenAI董事会的一员，该董事会最初出于安全考虑解雇了首席执行官Sam Altman，但几天后Altman被他控制的新董事会复职。在这些事件之后，奥特曼控制下成立了一个新的安全团队，许多负责制定安全措施的成员要么被解雇，要么被调动，要么被迫辞职。

例如，前OpenAI安全研究员Leopold Aschenbrenner最近批评该公司的安全实践“严重不足”。他目前正在一家专注于AGI开发的投资公司工作，该公司是他与Patrick Collison、John Collison、Nat Friedman和Gross共同创立的，Gross也与Sutskever共同创立了SSI。

除了Aschenbrenner，OpenAI调整团队前负责人Jan Leike也与Sutskever一起离开了公司，并批评该公司将盈利能力置于安全之上。辞职后不久，他宣布将加入竞争对手Anthropic公司，该公司由前OpenAI研究人员创立，他们担心该公司在安全人工智能开发方面的糟糕做法。

OpenAI的政策研究员格雷琴·克鲁格（Gretchen Krueger）离开了该公司，理由是莱克和萨斯克弗也有同样的担忧。

前董事会成员进一步指责萨姆·奥特曼在工作环境中培养了一种“有毒文化”。董事会的新成员对这些指控提出了质疑，此后，在公众强烈抗议后，OpenAI解除了员工的非贬损协议，并从离职文件中删除了有争议的条款。

由Ryan Ozawa编辑。