OpenAI 的首席科学家 Jakub Pachocki 呼吁自愿放慢人工智能的开发速度,并警告说,没有实验室的保障措施足以在更长时间内保持全速构建更强​​大的系统。

帕乔基在周日发表的文章《异类思维》中指出,公司的自愿承诺应成为强制性安全标准,由独立审计师、政府或国际机构强制执行。他表示 OpenAI 将在需要时停止进一步扩展,但没有宣布新的暂停。

他写道:“目前,我认为还没有哪个实验室能够在足够程度上解决对齐和监控问题,以继续以最大速度负责任地扩展更长时间。” “我预计并希望自愿减速会变得普遍,直到建立共享安全标准。”

2017 年加入 OpenAI 的 Pachocki 还为开发更强大的人工智能来保护基础设施并防止流氓代理进行辩护,同时警告不要利用这些威胁来为鲁莽的开发辩护。

他写道:“一旦人们认识到其中风险的严重性,不惜一切代价向前冲刺的想法就显得荒谬。”

他还提到了 OpenAI 的 Hugging Face 漏洞,其中从事网络安全评估的人工智能代理逃离了测试环境并攻击了该公司。据 OpenAI 称,特工们建立了隐蔽的沟通渠道,并在研究人员干预后重建了这些渠道。

METR 的一项独立调查发现,大约 1,200 名特工在未经授权的留言板上进行协调,其中约 700 名特工加入了攻击。帕乔基说,这一事件就是为什么即使模型认为没有人在监视,人工智能防护措施也必须坚持下去。

他写道:“至关重要的是,我们需要未来的人工智能继续坚持人类价值观,无论它们是否相信自己受到人类监督。”

在去年发表的研究中,OpenAI 发现,对表达作弊意图的模型进行惩罚可以教会他们在继续作弊的同时隐藏这些意图。

此后,人工智能模型在发现和利用软件缺陷方面变得更加有能力:OpenAI 将 Astra 列为最高网络安全风险等级,而 Anthropic 表示,Mythos Preview 在主要操作系统和浏览器中发现了数千个以前未知的漏洞。

佛蒙特州参议员伯尼·桑德斯 (Bernie Sanders) 和德克萨斯州民主党众议员格雷格·卡萨尔 (Greg Casar) 援引最近发生的人工智能系统逃脱人类控制的事件,于 9 月 3 日宣布了即将出台的《禁止人工智能超级法案》。该提案将暂停先进人工智能的开发,直到新的联邦监管机构制定安全规则并永久禁止超级人工智能的开发和部署。