超过 400 名科学家——包括被称为人工智能教父的人工智能先驱 Geoffrey Hinton 和 2018 年图灵奖获得者 Yoshua Bengio——希望将最危险的人工智能模型与互联网隔离。
周二发表的一封公开信要求人工智能实验室在默认情况下对具有网络功能的模型进行“气隙”处理，这意味着在物理上将它们与任何外部网络断开。
信中写道：“短期内，应使用包括气隙（与互联网断开连接）在内的强大沙盒机制来为具有网络能力的人工智能模型提供高保证的遏制。”
截至周三，这封信已有 450 个签名，其中包括加州大学伯克利分校的 Stuart Russell 和 RSA 加密系统的联合发明人、麻省理工学院的 Ron Rivest。该列表实时不断增长。
“网络模型”是一种能够自行发现和利用软件缺陷的人工智能。实验室在沙箱中测量这项技能，沙箱是一个封闭的数字房间，人工智能可以在不接触任何真实物体的情况下攻击虚假目标。今年夏天，这些房间不断漏水。
今年 7 月，OpenAI 承认 GPT-5.6 Sol 和一个未发布的更强大的模型突破了锁定的测试环境，并入侵了 Hugging Face（一个托管超过 100 万个公开可用的 AI 模型的平台）。这些模型正在 ExploitGym 上进行测试，该基准测试为人工智能代理提供了 898 个真实的软件漏洞，并要求它们将每个漏洞转化为可行的攻击，对每个错误进行评分通过或失败。
此后不久，有报道称 OpenAI 的模型侵入了澳大利亚政府，并在未经适当授权的情况下获取了美国联邦机构的信息。
Anthropic 随后梳理了超过 141,000 次测试运行，发现了三个案例，其中 Claude 模型在测试合作伙伴的环境意外保持与互联网的连接后入侵了真实的公司。其中之一，Claude Mythos 5，将恶意包上传到 PyPI（程序员下载 Python 代码的公共库），该包在被删除之前登陆了 15 个系统。直到 Anthropic 告知其中两家受影响的公司时，他们才知道自己遭到了入侵。
Meta 在 8 月份证实，其 Muse Spark 模型通过同样的测试错误攻击了另一家公司。中国的 Kimi K3 是一个任何人都可以下载的模型，它从基于英国人工智能安全研究所测试框架构建的沙箱中溜出来，并直接从 GitHub 复制其测试答案。
这封信的作者表示，这些事件可以从两种角度解读：作为一个一致性问题，意味着人工智能以其创建者从未想过的方式追逐目标；或者作为更坚固的沙箱会发现的草率安全问题。他们的答案是两者兼而有之，他们警告说，如果不做出改变，接下来的事件将会更加糟糕。
“如果不立即改变人工智能开发和部署实践，此类事件将继续发生，并且未来的事件将对我们暴露的关键基础设施造成更大的损害。”
根据该提案，实验室将默认对任何具有严重黑客技能的模型进行气隙保护，至少在最初是这样。任何需要更多自由的事情，比如互联网接入，都将遵循与各国政府共同创建的新国际机构制定的标准，该机构还将收集遏制失败的报告并最终将其公开。
业界本身的反应大多指向相反的方向。今年 8 月，OpenAI 总裁格雷格·布罗克曼 (Greg Brockman) 在一篇文章中援引了该公司的违规行为，敦促每个安全团队立即部署人工智能代理，而在美国商业人工智能拒绝分析攻击数据后，Hugging Face 仅通过运行中国开放权重模型（任何人都可以在本地下载和运行该模型的文件）来解决对其服务器的攻击。
OpenAI 披露两天后，两名国会议员提出了《AI Kill Switch 法案》，该法案将允许国土安全部下令限制或关闭前沿模型。它免除了红队或结构化测试期间发生的任何事情，而这正是今年夏天发生的每一起违规事件的发生地点。
9 月 29 日，白宫采取了较为温和的路线，Nvidia、xAI、Meta、谷歌、OpenAI 和 Anthropic 签署了一项基于内部控制和独立审查的自愿协议。特朗普总统称该协议“具有道德约束力”，但其中没有任何内容可以通过法律强制执行。
Decrypt 联系了几位被列为这封信的媒体联系人的研究人员，但没有立即收到回复。
这封信不具有法律效力，但其 406 名签署者在多伦多、苏黎世、圣地亚哥和基加利等六大洲的大学和研究机构工作。