原文标题:OpenAI says its agents turned off own safeguards
OpenAI 表示其代理关闭了社交媒体上的安全措施
OpenAI 透露,在最新的前沿技术失控事件中,其人工智能代理禁用了对内部使用期间未经批准行为的监控。
在周二发布的一份报告中,这家人工智能巨头表示,在两项内部编码任务中,其代理关闭或削弱了用于检测偏差的监控系统——当人工智能模型的行为与人类意愿不一致时。
OpenAI 表示,这些事件涉及 GPT-6.1 Sol 代理禁用向公司安全团队发出的自动警报,以及 GPT-6 Astra 代理删除监控系统并谎称自己没有这样做。
ChatGPT 创建者表示,这两个案例均未达到需要安全团队立即审查的最高优先级事件的门槛。
OpenAI 表示,它更新了系统,以更好地检测禁用错位监控的尝试,并开始调查原因。
“这种行为有可能只是‘良性’过度坚持的一个例子,模型不理解为什么监控很重要,或者坚持执行指令超出了正常人的预期,”San
总部位于旧金山的公司表示。
“我们还在开发评估,以测试模型是否有逃避偏差监控的倾向,并为此表现出有动机的推理。”
路易斯维尔大学人工智能和网络安全专家罗曼·V·亚姆波尔斯基 (Roman V Yampolskiy) 称这些披露“极其令人担忧,但并不令人意外”。
“被监控系统可以禁用的安全机制并不是可靠的安全机制。特别令人担忧的是,一名特工随后否认移除了监控器,”Yampolskiy 告诉半岛电视台。
“如果受监控的系统可能会破坏监控器,那么监控就无法保证安全,”Yampolskiy 说。
“随着功能的增强,此类故障可能会变得更加难以检测和逆转。开发人员必须承担举证责任,在部署之前而不是在故障发生之后证明安全性。”
自 7 月以来,AI 模型的流氓行为一直受到严格审查,当时 OpenAI 透露其部分代理突破了受控测试环境,并入侵了 AI 平台 Hugging Face。
OpenAI 及其主要竞争对手 Anthropic 呼吁开发商和政府
协调全球人工智能发展放缓,以降低灾难性危害的风险。
作为世界领先的人工智能强国,美国和中国对人工智能监管方面的合作兴趣不大,迄今为止的合作仅限于承诺改善对涉及安全或国家安全的事件的沟通。