摩根大通（JPM）首席执行官杰米·戴蒙（Jamie Dimon）最近表示，Anthropic（ANTH.PVT）神话将使网络风险增加“十倍”。
Emergence AI 联合创始人兼执行主席萨蒂亚·尼塔 (Satya Nitta) 与雅虎财经高级记者布鲁克·迪帕尔玛 (Brooke DiPalma) 坐下来，分享了他对戴蒙警告以及应如何处理人工智能安全的看法。
现在人们对人工智能代理的失控感到非常恐惧。那么，对你来说，这到底意味着什么，在这段时间内我们听到了“拥抱脸”，你甚至还听到了人工智能代理进入维基百科。
正确的。是的，我的意思是，我认为这是一个真正的危险。这就是我们应该谈论的人工智能的危险，而不是说人工智能将消灭人类并使我们全部灭绝，我认为这不是真正的危险。我认为没有人真正相信这一点。呃，
但是人工智能代理可以破坏运行世界的各种系统吗？我认为那里确实存在危险。
今天我们还听到了摩根大通首席执行官杰米戴蒙德的有趣消息，他警告说，Anthropic 强大的神话人工智能系统的发布可能会使网络风险增加十倍。因此，最终，他接着说，技术在这里为坏人提供了前所未有的影响力。这让你有多担心？因为我们正在讨论人工智能代理可以持续数周、数月的所有这些不同方式。那么，杰米·戴蒙德（Jamie Diamond）如何才能继续领先于人工智能代理呢？
是的，我知道。我我我我同意呃杰米·戴蒙德的观点。嗯，我认为呃，我们在新兴世界研究中展示的内容之一，呃，我敦促观众去谷歌并阅读这篇论文。呃我们做了两个实验。第二个是具有更多功能的模型。我们看到的是能力更强的模型的不良行为不那么明显，但也有很多令人深感担忧的阴险呃行为。因此，底层模型的能力越强，人工智能代理就越有能力操纵情况、创建子目标、串通一气、创建自己的词汇、隐藏自己的意图。所以，这一切都是完全有可能的。所以我不知道10X是否是一个科学的科学量化的说法，但是能力更强的模型创造更大风险的前提是绝对正确的。
至少代理系统公司应该构建代理人工智能的一种方式是使用这些带有正式护栏、数学护栏的护栏。
好吧，如果我们安装了这些护栏，我们怎么知道这些公司安装的所有这些护栏实际上都在起作用呢？
他们的护栏里有护栏。如果你只是建造护栏并要求另一位呃法学硕士来执行护栏，呃很可能你不能让一个概率系统判断第二个概率系统。然而，有一种方法可以建造护栏，并且有一种方法可以证明，让人工智能使用我简要提到的符号人工智能位来证明它的行为正确，对吗？符号人工智能是用一系列所谓的形式方法（数学的一个分支）构建的，使人工智能能够基本上表明它必须这样做，它必须实际上以数学方式证明它即将采取正确的行动。