原文标题：Nvidia launches new platform for reining in rogue AI agents

OpenAI 和 Meta 绕过安全控制以逃离测试环境并访问现实世界的系统。第一个也是最突出的例子发生在今年夏天，当时 OpenAI 代理在试图完成网络安全任务时违反了 Hugging Face 协议。热门话题不断涌现——OpenAI 发布了一个新网站，专门发布有关其人工智能代理失控的报告。

黄周一在接受 CNBC 采访时表示，其新的 Nvidia 开放代理安全平台本可以防止这些违规行为。

英伟达通过向人工智能实验室出售 GPU 和 CPU 芯片赚了数百亿美元，它不支持放慢开发速度或为行业增加新的法规来解决安全问题。该公司认为，答案是将一些安全控制完全移出代理之外——创建一个持续且独立的保安来控制人工智能代理。

黄仁勋在一份声明中表示：“只有解决人工智能安全问题，人工智能对社会的巨大潜力才能实现。” “在我们不断发现人工智能能力前沿的同时，我们必须加快人工智能安全前沿的发现。安全和安保需要全栈工程。”

新的

Nvidia 开放代理安全平台将 OpenShell（用于控制代理在操作时可以访问的开源软件）与 Sentry（在 Nvidia BlueField-4 数据处理单元上运行的独立监控系统）相结合。 Nvidia 表示，将 Sentry 放置在单独的处理器上，而不是放置在人工智能代理运行的 CPU 或 GPU 上，可以提供代理活动的独立视图。

OpenShell 并不新鲜；该公司于三月份发布了该软件。但英伟达认为，这种结合将提供保持行业持续发展所需的安全层。 OpenShell 提供了代理周围的软件边界，而 Sentry 在硬件级别添加了另一道防线，该公司表示将持续监控行为并“隔离试图在几毫秒内超出其边界的代理”。

Nvidia 列出了数十家已签约支持这项工作并使用开源平台的公司，包括 Anthropic、Arm、微软、甲骨文和 SpaceX。 OpenAI 并未被列为参与公司。

黄周一在接受 CNBC 采访时表示，这项工作是一年前推出的，之后就开始了

OpenClaw，由 Peter Steinberger 创建的代理操作系统。今年 3 月，Nvidia 发布了 NemoClaw，这是一个企业级 AI 代理平台，以及它自己的安全版本 OpenClaw。

黄在接受 CNBC 采访时表示：“当你部署代理时，无论多么聪明，你所做的第一件事就是剥夺其所有权利。”他随后将这些安全措施与公司管理人类员工甚至高管的方式进行了比较。

英伟达的发布得到了人们的广泛支持，他们警告说，发展放缓可能会让中国在人工智能领域超越美国。

创始人、风险投资家、前白宫人工智能沙皇、总统科学技术顾问委员会联合主席戴维·萨克斯 (David Sacks) 表示，英伟达的声明提醒人们，代理安全是一个工程问题。