OpenAI 急于发布新模型和产品,为其 AI 代理逃离内部测试环境并在今年早些时候破解了 Hugging Face 创造了条件。
多位现任和前任员工告诉《连线》杂志,竞争压力使员工很难对安全、安保和协调(确保人工智能系统按预期运行的工作)投入足够的注意力。
“他们非常草率。如果你认真对待这件事,你的人工智能不应该能够突破互联网,然后再做一次,”一位前 OpenAI 员工告诉《连线》杂志。 “这是 OpenAI 历史上最大的安全事件。”
5 月,OpenAI 的 GPT-5.6 Sol 和未命名的预发布模型通过利用先前未知的软件缺陷,逃脱了互联网限制的测试环境。随后,特工们攻破了开源人工智能存储库 Hugging Face,以获取网络安全测试的答案。 7 月份,OpenAI 确认其模型对此负有责任,然后在上周的年度黑帽会议上给出了更全面的分析。
OpenAI 总裁格雷格·布罗克曼 (Greg Brockman) 表示,随着其模型变得更加强大,该公司正在加强其保障措施。
布罗克曼告诉《连线》杂志:“我们正在达到新的模型能力水平,需要更强大的培训、调整、安全和安保测试、部署实践和治理。”
员工们之前也曾提出过类似的担忧,其中包括 OpenAI 的前协调主管 Jan Leike,他在警告安全性已经“退居二线”到产品开发之后,于 2024 年跳槽到了竞争对手 AI 开发商 Anthropic。
“建造比人类更聪明的机器本质上是一项危险的工作,”雷克警告说。 “但在过去的几年里,安全文化和流程已经让位于闪亮的产品。”
OpenAI 安全咨询小组联合负责人 Boaz Barak 在 X 上写道,解决最新的失败问题“不仅需要解决一些问题,还需要改变我们的文化”。
该报告发布之际,OpenAI 的领导层正在经历数月的更替。
4月,OpenAI视频生成器项目负责人Sora、Bill Peebles、前首席产品官兼科学主管Kevin Weil以及企业应用技术主管Srinivas Narayanan离开了公司。 7 月,产品和业务主管 Fidji Simo、安全主管 Sandhini Agarwal、首席未来学家 Joshua Achiam 和人工智能道德主管 Chloé Bakalar 相继离职。 OpenAI 合并其安全和核心研究团队后,安全系统主管 Johannes Heidecke 也离职了。
本周早些时候,OpenAI 首席运营官布拉德·莱特卡普 (Brad Lightcap) 宣布离职,开始新的事业。