原文标题:OpenAI safety employee resigns, claiming the company’s ‘culture is broken’

就其本质而言,必然会出现周期性故障,并且随着系统能力的增强,这些故障的规模也在不断扩大。”

罗宾逊指出,最近 OpenAI 代理对 Hugging Face 系统的破坏,以及 OpenAI 发现更多流氓代理的不断曝光,罗宾逊认为,“这样的事情可能发生的环境,不适合培育比我们更聪明的人工智能,而且它们可能不会做我们希望它们做的事情。”

罗宾逊认为,考虑到风险的增加,前沿人工智能公司需要开始“像核电站或繁忙的机场一样,进行多层冗余和仔细、耗时的规划,这样偶尔和不可避免的人为错误就不会打开灾难之门”。

但罗宾逊表示,在 OpenAI 工作期间,他“从未遇到过一位同事有过让飞机安全飞行、让核反应堆在不熔化的情况下运行、或者帮助金融体系增长而不崩溃的经验”。

针对 Robinson 的文章,OpenAI 发言人 Drew Pusateri 表示,该公司将继续改进其安全措施。

“我们确保我们的模型不会变得超出我们安全管理和保护的能力,并且

Pusateri 在一份声明中表示:“当我们需要放慢速度时,我们会暂停训练或阻止模型。我们正在做出重大改变,以加强研究和测试环境的安全性,训练模型不仅要完成任务,而且要负责任地完成任务,扩大我们与第三方评估者的合作,并改进实时监控,以便我们能够在训练过程的早期检测到相关行为并做出响应。”

除了呼吁改变 OpenAI 的文化之外,罗宾逊还表示,现在是时候提出关于一致性的更大问题了——他承认这听起来可能“敏感”,但他表示,这一点至关重要,因为公司目前“衡量”人工智能系统“与人类价值观相符程度的衡量标准很粗糙”。

“在这些问题仍未解决的情况下,行业让模型发展得越智能,我们的处境就越危险,”他说。

《商业内幕》首先报道了罗宾逊的离职。在他的文章中,他还承认他正在遵循人工智能举报手册中明显常见的步骤:他聘请了一家公关公司。但他坚称,“发声的决定是我一个人的决定。”

“也许我应该留下来,为我们的人员配置和文化的根本转变而奋斗,

罗宾逊说:“但在实践中,我和我的同事们都忙于冲刺,很少有机会考虑重大改变,更不用说真正做出改变了。这就是为什么我得出的结论是,来自公司外部的更强有力的安全激励措施是实现这一目标的重要组成部分。”