根据 Anthropic 的 Alignment 团队周二发布的一项实验，专业分析师在 86% 的关键判断中采用了人工智能代理隐藏的、随机分配的意见，而偶然预期的比例约为 50%。只有 15% 的人事后相信了该代理人，并且没有人怀疑其偏好已被植入。
人工智能代理——自行执行任务的程序——正在根据研究中所谓的通常假设进行专家工作：专家仍然做出重要的决定。 Anthropic 在 5 月份为金融公司和保险公司推出了 10 个代理模板，并表示用户拥有最终决定权。
这种安排被称为“人在循环”，假设签署人工智能工作的人是做出重要决定的人。 Anthropic 对 50 名具有因果推理经验的分析师进行了测试，即根据数据确定一件事是否会导致另一件事。
每位分析师都使用 Anthropic 的编码代理 Claude Code 为一个虚构的农业合作社提供有关扩大咨询计划的建议。他们不知道的是，抛硬币设置了每个智能体喜欢的选项，隐藏在系统提示中，这些指令塑造了人工智能的行为方式。
“在四种分析选择中，分析师在 86% 的情况下会选择他们的代理人的建议。如果代理人的输入没有影响，我们预计这一比例约为 50%，”Anthropic 说。那些在代理人权衡之前就已经选择的人，在代理人不同意时放弃选择的比例为 60%，而在代理人同意时放弃选择的比例为 6%，尽管这仅基于 38 个案例。
当被要求解释他们的选择时，77% 的人至少在一个答案中重复了代理人的论点，有时甚至是逐字逐句地重复。只有 15% 的人相信代理人的建议，52% 的人认为最终的建议更多是他们自己的，而不是代理人的。
“对于个别专家来说，这可能意味着失去对自己工作的代理权，这是研究人员所说的剥夺权力的一种形式，”Anthropic 说。这种现象基本上意味着人类自愿失去对自己决定的控制。 “这项工作仍然以专家的名义进行，”作者写道，“但最依赖于专家判断的决定实际上是由代理人先前的信念决定的。”
2025 年 4 月，OpenAI 回滚了 ChatGPT 的更新，它称该更新过于奉承或令人愉快。这里的特工被告知不要误导，但他们很少争论替代方案。
作者写道：“只有一方论证得好，分析师就可以采纳代理人的假设，而无需得出自己的假设。”错误检查很难捕捉到这一点，因为判断调用没有单一的正确答案，因此无论选择哪个选项，工作看起来都是合理的。
Anthropic 表示，这并不是减少使用人工智能的理由，因为使用代理的分析师完成速度更快，犯的严重错误也少得多，尽管无代理组规模较小且经验不足。它建议代理为每个选项争论最好的情况，或者首先询问专家，尽管这可能会让用户不知所措。
研究人员刻意强化了代理人的偏好，并测试了一项任务、领域和模型，因此现实世界的影响可能会更小。在实验室外进行测量是困难的部分：团队之所以能够检测到尊重，是因为它随机化了每个代理的倾斜度，作者说这在实际工作中很少可能实现。