为什么人工智能安全官员不断辞职

人工智能行业的安全装置出了问题，这不是技术问题，而是操纵这场演出的人类问题。

OpenAI 的离开读起来就像是人工智能安全领导力的名人录。伊利亚·苏茨克韦尔、简·雷克、史蒂文·阿德勒、迈尔斯·布伦戴奇、丹尼尔·科科塔伊洛、利奥波德·阿申布伦纳、帕维尔·伊兹麦洛夫、卡伦·奥基夫、威廉·桑德斯。这些并不是随机团队的随机离开；而是随机的。这些人专门负责确保人工智能不会意外地摧毁文明。他们都走开了。

这种模式也超出了 OpenAI 的范围。杰弗里·辛顿 (Geoffrey Hinton) 被广泛认为是“人工智能教父,”2023 年 5 月退出 Google，并发出严厉警告：“据我所知，目前他们并不比我们聪明。但我认为他们很快就会变得比我们聪明。”当帮助建立现代人工智能基础的人害怕从其速度来看，这并不能完全增强信心。

信任崩溃

根据多名前雇员和观察员熟悉 OpenAI 内部动态的具有安全意识的员工已经系统性地对首席执行官山姆·奥尔特曼 (Sam Altman) 的领导失去了信心。这种模式表明信任逐渐被侵蚀，每一次事件都会加剧人们的担忧。转折点出现之后奥特曼 2023 年 11 月戏剧性的解雇和随后的权力夺取，他威胁说，除非董事会恢复他的职位，否则他会将 OpenAI 的人才带到微软。

这一举动揭示了奥特曼性格中的一些重要特征：当面临监督时，他的反应不是解决问题，而是完全消除监督者。他带着一个更友好的董事会和更少的检查靠他的权威。对于已经担心 OpenAI 方向的安全研究人员来说，这是一个明确的信号，表明企业的优先事项始终高于安全考虑。

OpenAI 超级对齐团队前联合负责人 Jan Leike 并没有他辞职时拐弯抹角：“相当长一段时间以来，我一直与 OpenAI 领导层对公司核心优先事项的看法存在分歧，直到我们最终达到了临界点。”他在 X 上的离职帖子描绘了一幅安全团队“逆风航行”的画面，在公司竞相走向商业化的同时，为计算资源而苦苦挣扎。

制度压力是真实存在的。 OpenAI 臭名昭著的非贬低协议本质上是让离职员工保持沉默——拒绝签署，你可能会失去数百万美元的股权。只有少数人，比如 Daniel Kokotajlo，愿意牺牲自己的经济利益来自由发言。“我逐渐对 OpenAI 领导层以及他们负责任地处理 AGI 的能力失去了信任，所以我辞职了，”科科塔吉洛解释道。

不可能的工作

这就是安全官员正在努力解决的问题：他们被要求解决目前还没有技术解决方案的问题。作为白宫技术顾问阿拉蒂·普拉巴卡尔直言不讳，评估人工智能安全的技术“几乎不存在”。目前的人工智能模型已经可以进行简单的推理，并比任何人类拥有更多的常识，但确定它们是否会产生网络攻击或帮助制造生物武器“目前还不能完全掌握”。

另一位 OpenAI 安全研究员史蒂文·阿德勒 (Steven Adler) 最近公开了自己的离职消息，抓住角色的存在意义：“即使一个实验室真正想要负责任地开发通用人工智能，其他实验室仍然可以走捷径来迎头赶上，这可能是灾难性的。这会促使所有人加快速度。”没有哪个实验室拥有“当今人工智能对齐的解决方案”，但竞赛仍在以惊人的速度进行。

这给安全官员带来了不可能的动态。他们正在应对人类最重要的技术挑战，而他们的雇主则优先考虑运输产品和保持竞争力。杰弗里·辛顿强调了问题的零和本质：“即使美国所有人都停止开发它，中国也会取得巨大领先。”

安全研究人员不仅仅担心理论上的未来风险。复旦大学的中国科学家于 2024 年 12 月发表初步研究表明人工智能模型可以自我复制，并在面临关闭时表现出生存本能——这些行为没有明确编程。虽然这项研究尚未经过同行评审并且仍然存在争议，但人工智能系统可能会围绕自我保护制定自己的子目标，这让安全研究人员有充分理由失眠。如果得到证实，这种行为将代表人工智能发展的一个重要里程碑，但我们还没有准备好应对。

人为因素

这波离职浪潮中特别引人注目的是，它们始终指向人为失误，而不是技术失误。这些研究人员并不是因为看到了一些可怕的技术突破而逃离（尽管病毒式传播“伊利亚看到了什么？”模因）。他们离开是因为他们对人类对该技术做出的决策失去了信心。

多个消息来源描述了一种模式，公司表示他们重视安全，但始终优先考虑速度和利润率。奥特曼筹款报道与沙特阿拉伯等专制政权在人工智能芯片制造方面的合作就体现了这种脱节——如果你真正关心人工智能的安全部署，为什么要通过与可能使用人工智能进行监视和侵犯人权的政府合作来加速开发呢？

对于安全官员来说，这代表着根本性的背叛。他们加入了相信构建有益的人工智能使命的公司，结果却眼睁睁地看着这些公司优化市场主导地位。技术挑战已经足够艰巨，无需就资源分配和战略优先事项进行内部政治斗争。

中国日益关注人工智能安全- 包括在 2024 年 7 月的中国共产党政策文件中呼吁建立“监督系统以确保人工智能的安全” - 这表明即使是地缘政治竞争对手也认识到其中的利害关系。当独裁政府公开承认人工智能安全问题时，这突显了技术社区对这些风险的重视程度。

这个故事的另一层是离开美国实验室后，顶尖人才正在前往。朱松春曾在加州大学洛杉矶分校和哈佛大学任职的人工智能先驱科学家，2020 年移居中国，令同事们大吃一惊，他现在在国家支持下负责北京通用人工智能研究院。朱公开拒绝硅谷认为扩展大型神经网络将带来通用智能的信念。相反，他认为“小数据，大任务” 推理可以更好地捕捉真正的智能是什么样子。他的离开突显了人才外逃不仅仅是对领导层的幻灭，而且还重塑了人工智能研究的全球平衡。

接下来会发生什么

这种人才外流现象发生在政府强化立场的同时。这特朗普政府承诺斥资 900 亿美元在宾夕法尼亚州建设人工智能中心以确保美国的主导地位，而北京正在将人工智能融入从老年人护理到国防的各个领域。在这场竞赛中，研究人员本身，他们选择在哪里工作以及他们支持什么哲学方法，正变得与他们建立的模型一样重要。

另请参阅 -每个人都在计算数十亿美元，但真正的美英人工智能协议是谁制定规则

随着 OpenAI 的超级对齐团队被解散，许多该领域领先的安全研究人员也四散奔逃，不久的将来看起来岌岌可危。该公司已经在各个团队之间重新分配了安全责任，但对未来人工智能系统存在风险的专注——据内部人士称，这是超级调整团队的“重点”——基本上已经消失了。

这使得人工智能行业处于一个危险的境地：在没有足够安全护栏的情况下，在没有足够安全护栏的情况下，人工智能行业竞相走向通用人工智能，而这些公司已经证明他们会为了竞争优势而牺牲监管。正如简·雷克（Jan Leike）警告的那样，“我相信我们应该将更多的带宽花在为下一代模型做好准备上。”相反，带宽被用于产品发布和市场定位。

辞职的安全官员并不是放弃使命，而是放弃在系统性破坏他们工作的公司结构内完成这一使命。一些人，比如 Ilya Sutskever，正在商业人工智能实验室的限制之外追求“对个人非常有意义的项目”。其他人则在学术机构或独立组织从事技术安全研究。

朱先生的例子很能说明问题。他在北京的实验室最近推出了 TongTong，这是一个像儿童一样的虚拟人工智能代理，旨在展示大型语言模型仍然缺乏的常识推理。无论他的方法是否成功，美国最著名的人工智能教授之一感到自己“别无选择”，只能离开美国前往中国，这一事实表明西方对人工智能领导地位的控制已变得多么脆弱。

但这是令人不安的事实：构建最强大人工智能系统的公司现在已经赶走了许多最有安全意识的员工。最有能力解决人工智能协调问题的人不再在这些问题最紧迫的地方工作。这不是技术故障——这是人为故障，而且可能是最危险的一种。

正如 2024 年 11 月离开 OpenAI 的史蒂文·阿德勒 (Steven Adler) 所言，他轻描淡写地说道：

“如今人工智能的发展速度让我感到非常害怕。”

当负责保护人工智能安全的专家对他们帮助构建的系统感到恐惧时，也许我们其他人应该更加关注。

如果您喜欢本指南，请关注我们以获取更多信息。