此次合作是非排他性的,Anthropic 预计将在未来几周内宣布与之合作的其他评估者。

Anthropic 表示,已选择埃森哲作为其首个嵌入式评估机构,以帮助减缓首席执行官达里奥·阿莫迪 (Dario Amodei) 上周提出的人工智能开发步伐。

Amodei 于 9 月 12 日发布了一项三步走的提案,旨在减缓人工智能的发展,并允许采取保障措施,同时警告称,快速、不受控制的发展可能会造成灾难性伤害。

OpenAI 首席执行官萨姆·奥尔特曼和 SpaceX 首席执行官埃隆·马斯克对 Amodei 的提议做出了积极回应,尽管英伟达首席执行官黄仁勋没有做出回应,认为这样的监管是没有必要的。

尽管如此,阿莫迪在他的提案中写道,“人工智能的发展速度大幅加快,主要是由于人工智能构建下一代人工智能的能力不断增强。这种动力被称为递归自我改进”,“如果不加以控制,它可能会超出我们理解和控制这些系统的能力。”

Amodei 写道,Amodei 提议的第一步是让独立评估员拥有员工般的访问权限,Anthropic 已经单方面承诺这一点。

Anthropic 周五宣布将与埃森哲及其人工智能业务学院合作,“评估和红队模型、进行一致性评估和测试模型保障措施”,以实现这一承诺。

该公司表示,由于嵌入式评估是新的,因此具体如何实现的细节仍在制定中。

据公告称,Anthropic 和埃森哲预计在未来五年内分别向该项目投资至少 10 亿美元。

Anthropic 将在紧急情况下直接资助工作

Anthropic 指出,目前还没有为独立评估提供资金的系统,因此长期资金应来自集体或政府来源,尽管考虑到工作的紧迫性,Anthropic 将直接资助埃森哲的工作。

埃森哲周五表示,该公司的教师是测试和评估一些世界领先的人工智能实验室模型以及构建设计安全且符合道德的复杂人工智能系统的专家。

埃森哲董事长兼首席执行官 Julie Sweet 表示:“嵌入式评估是一个新兴领域,我们期待与 Anthropic 合作,帮助加速嵌入式评估器的开发,我们认为嵌入式评估器是未来安全领域的重要组成部分。”