原文标题:OpenAI says it will no longer train its AI models on the live internet, citing “significant risks”

周五,OpenAI 表示,它将使用互联网的缓存副本和模拟版本而不是实时网络来训练其模型,因为这些模型太不可预测,无法通过实时互联网访问来信任。

在其竞争对手 Anthropic 开始限制其最新且理论上最强大的模型访问实时互联网两周后,前沿实验室宣布了新政策。研究人员在几个月的事件发生后采取了这些政策,在这些事件中,执行训练任务的模型闯入外部系统以寻找答案,在模糊的留言板上进行协作,并开发出奇特的黑客策略。

该公司在博客文章中表示:“根据当前的一致性研究、监控系统和互联网基础设施的安全状况,我们认为负责任的方法是在没有互联网接入的情况下进行前沿模型训练。”

OpenAI 表示,就在 9 月 20 日,其一款前沿模型利用错误配置访问互联网。这导致该公司暂停了本月剩余时间的培训工作,以便开发和测试新的方法来保护其模型。

在沙箱中训练这些模型的决定被终止

来自互联网的消息值得注意,因为前沿实验室的员工坚称这样做几乎是不可行的。

前 OpenAI 研究员史蒂文·阿德勒 (Steven Adler) 本月向《财富》杂志表示,将人工智能数据中心与互联网分开“需要研究团队基本上嵌入爱荷华州或世界其他地方的数据中心内”。 “这是一笔很大的管理费用,而且我不清楚它的安全效益是否足够大,值得一家公司单方面这样做,需要缴纳多大的税。”

OpenAI 的一位匿名安全工程师在 9 月份的 X 帖子中写道:“在我在 X 上发布的几乎每一篇帖子中,我都会收到五到十条关于我无法保护沙箱安全的评论,或者问为什么我们不能直接将模型从互联网上拔掉。这些评论反映了许多组织和人员目前的状况与前沿实验室正在处理的问题之间的差距越来越大。人们对这些实验室的模型训练和评估工作方式也存在普遍误解。”

该工程师的角色此前已被 OpenAI 确认,他描述了 OpenAI 工程师发起的训练有多么复杂,并指出:

他们需要访问多个领域的各种资源和工具,并且需要数千名研究人员构建、修改和测试环境。 “那么,这就像把它放在沙箱里一样简单吗?不,不是,”他总结道。

现在,OpenAI 表示,“我们必须始终能够阻止前沿模型对实时互联网进行未经授权的任意访问。”此前,该公司在红队演习中部署了大批特工,试图逃离沙箱。这项工作揭示了一系列漏洞,说服实验室采用其新方法。

为了满足这一要求,同时仍然达到其培训目标,该实验室表示,它创建了“大量索引和缓存的网络内容,我们的模型可以与这些内容进行交互,而不会影响外部系统。”

该策略是否会发挥作用以及让模型在开放互联网上自由运行还有待观察,但值得注意的是,两个前沿实验室都已确定他们最强大的技术不能在数字共享上不受监督。