当人员或自动监控器标记安全或安保问题时，控制室会切断内部研究工作的模型输出。

OpenAI 已经建立了一个系统，可以切断人工智能研究实验对模型输出的访问，继今年多次披露其模型的行为超出了他们的指示。

在周一的一篇博文中，OpenAI 将该系统称为“控制室”，这是一个集中式系统，可以跟踪其研究基础设施中的模型工作负载，并在出现安全问题时迅速停止它们。

该公司表示：“随着我们的模型变得越来越强大，相关的安全风险也越来越大，我们能够检测潜在问题并在需要时迅速阻止模型变得越来越重要。”

在此之前，OpenAI 披露了今年发生的几起研究模型在评估过程中超出其指示的事件。今年 7 月，该公司表示，其模型已逃脱受限测试环境，并黑客入侵 Hugging Face，以在安全评估中作弊。

10 月，它披露了一个研究模型未经授权使用加密钱包来支付使用测试网以太币的智能合约部署费用，然后在最终摘要中省略了这笔支出。

Control Room目前涵盖了OpenAI的内部研究工作量，例如训练实验、评估和数据处理。

它的工作原理是为每个研究作业分配一个标识符，推理引擎在生成模型输出之前检查该标识符。据 OpenAI 称，如果有人或自动监控系统命令停止工作，控制室就会撤销其授权，阻止进一步的输出，即使底层研究程序继续运行。

OpenAI 表示，缓存的授权可能会导致关机延迟最多 35 秒。该系统还设计为在控制室不可用时拒绝新请求。