原文标题：OpenAI adds a prominent AI doomer to its board of directors

研究人员。周二，人类学研究员雅各布·考克森（Jacob Coxon）辞职，以引起人们对他认为不负责任的人工智能开发的关注——而且这似乎奏效了。

克里斯蒂亚诺将加入董事会安全与安保委员会，该委员会由卡内基梅隆大学教授济科·科尔特 (Zico Kolter) 领导。该委员会对 OpenAI 是否发布新模型（例如上周部署的 Astra）拥有最终决定权。科尔特尚未对最近发生的安全事件发表公开评论。 OpenAI 尚未回应 TechCrunch 询问 Kolter 对该公司在这些事件发生后的安全措施的看法的请求。

Christiano 是根据人类反馈进行强化学习 (RL) 的研究人员之一，这是他在 OpenAI 工作期间开发的一种训练大型语言模型的关键技术。他于 2021 年离开实验室，随后成立了联盟研究中心，专注于如何确定人工智能模型是否会威胁其人类创造者。

“我们目前用强化学习训练我们的人工智能代理，以获得尽可能多的奖励，”他周三写道。 “长期以来，这在理论上似乎是可能的，这可能会激励人工智能体破坏人类的控制，寻求权力和资源，并掩盖自己的踪迹，以追求与奖励相关的不一致目标。最近事件的公开证据表明，这不仅仅是理论上的可能性。”

2024 年的某个时候，克里斯蒂亚诺加入了美国政府的人工智能安全研究所，该研究所后来成为人工智能标准与创新中心。在那里，他在美国政府在前沿人工智能模型发布前对其进行评估的隐蔽工作中发挥了作用。

根据前沿实验室的公告，克里斯蒂亚诺在担任董事会成员的新职位期间将继续为政府提供建议，但将回避 OpenAI 事务和模型评估。然而，这很难平息人们对人工智能行业对政策制定影响力的普遍担忧。