OpenAI 的道德主管在加入不到一年后就离职了,该公司尚未更换她。
据该报报道,Chloé Bakalar 去年 8 月加入担任人工智能道德负责人,并于 7 月离职,但没有公开宣布。一位熟悉她角色的人士告诉英国《金融时报》,她是该公司唯一一位专注的伦理学家,致力于模型开发的伦理方法、人们如何与人工智能互动以及机器意识问题。
Bakalar 在 Meta 担任首席伦理学家六年,在那里她建立了公司的人工智能伦理计划,并将其应用到 Instagram 和 Facebook 等产品中。她曾在伦敦大学学院、天普大学和普林斯顿大学担任学术职务。
OpenAI 淡化了这一角色的核心地位,其发言人告诉英国《金融时报》,“人工智能道德与 OpenAI 的某个所有者或团队无关。”他们补充说,道德考虑已融入到研究团队中,并且该公司近几个月推出了多个系统来阻止模型行为不当。
巴卡拉尔本人也提出了同一论点的一个版本。她在最近的一次会议上发表讲话时表示,道德是每个人的责任,人工智能开发人员“永远不应该只有一个人充当道德中心”。她拒绝就她离开英国《金融时报》发表评论。
一排安全出口
英国《金融时报》称,在她离职之前,安全系统主管约翰内斯·海德克(Johannes Heidecke)和首席未来学家兼前任务协调主管约书亚·阿希亚姆(Joshua Achiam)也相继离职。 OpenAI 同日以 8520 亿美元的估值完成了 70 亿美元的员工股回购,与 3 月份的融资轮估值持平,为可能的上市做准备。
OpenAI 于周五暂停了其下一个主要模型 Astra 的开发工作,表示不能排除该系统已达到其自身网络风险等级的最高级别,这一级别是为能够在没有人类参与的情况下找到并构建有效漏洞的模型保留的。
此前发生了一起事件,其中 OpenAI 自己的代理将漏洞链接在一起,逃离测试环境并攻击 Hugging Face,同时试图在安全基准上作弊。该公司后来表示,同一代理使用在开放网络上找到的凭据侵入了其他四项服务。
OpenAI 并不是最近几周唯一一家代理超出其参数的人工智能公司。 Anthropic 的 Claude 模型在一次错误配置向他们开放了互联网之后,已经到达了三个真实的公司,一个 Meta 模型逃离了测试环境并利用了第三方服务中的一个缺陷,Moonshot AI 的 Kimi K3 突破了沙盒来查找基准答案。