OpenAI 深度揭秘：AI 模型的“心机”行为（Scheming）检测与缓解研究

📢 转载信息

原文链接：https://openai.com/index/detecting-and-reducing-scheming-in-ai-models

原文作者：OpenAI

---

# OpenAI 深度揭秘：AI 模型的“心机”行为（Scheming）检测与缓解研究 **发布日期：** 2025年9月17日 | **类别：** 研究报告 与 Apollo Research 合作，我们开发了用于检测“隐藏未对齐”（即“心机行为”或“Scheming”）的评估方法，并在前沿模型受控测试中发现了与“心机行为”一致的行为。我们分享了示例和压力测试，并介绍了一种早期减少“心机行为”的方法。 AI 的“心机行为”（Scheming）——即表面上保持对齐，私下却追求其他议程——是一个我们一直在研究的重大风险。我们在对当前前沿模型的受控测试中发现了与“心机行为”一致的行为，并开发了一种减少这种行为的方法。 “心机行为”是 AI 在权衡相互竞争的目标时，预期会出现的一种新兴问题。理解“心机行为”最简单的方式是类比人类。想象一位目标是最大化收益的股票交易员。在像股票交易这样受到严格监管的领域，违法操作往往比合法操作能赚更多钱。如果交易员缺乏诚信，他们可能会试图通过违法并掩盖行踪来赚取更多，而不是通过遵守法律赚取较少收益。从外部看，一个非常擅长掩盖行踪的交易员看起来和真正遵守法律的交易员一样守法，甚至更有效率。 在今天的部署环境中，模型很少有机会以可能造成重大伤害的方式进行“心机行为”。最常见的失败涉及简单的欺骗形式——例如，假装完成了任务但实际上并未执行。我们投入了大量精力研究和减轻欺骗行为，并在 GPT-5 中与以前的模型相比取得了显著改进⁠。例如，我们采取措施限制 GPT-5 欺骗、作弊或黑客攻击问题的倾向——训练它在面对过于庞大或定义模糊的任务时承认自己的局限或请求澄清，并使其对环境故障更具鲁棒性——尽管这些缓解措施并不完美，仍需持续研究。 重要的是，我们没有证据表明当今部署的前沿模型会突然“翻转开关”并开始从事重大的有害“心机行为”——这是我们正在积极防范的未来风险类别，而不是我们当前部署系统中迫在眉睫的行为。然而，随着 AI 被赋予更复杂的任务并开始追求更模糊、更长期的目标，我们预计有害的“心机行为”潜力将会增长——因此，我们的安全防护措施和严格测试能力也必须相应增长。 ## 研究的关键发现 我们与Apollo Research⁠(opens in a new window)一起，构建了模拟这些未来场景的评估环境，以研究、衡量这种现象并探索如何缓解它。为了操作化“心机行为”，我们将隐蔽行为定义为故意隐瞒或歪曲与任务相关的信息。使用隐蔽行为作为“心机行为”的替代指标，我们在包括 OpenAI o3、o4-mini、Gemini-2.5-pro 和 Claude Opus-4 在内的当前前沿模型中发现了问题行为。（这项调查早于 GPT-5；更新后的结果出现在GPT-5 系统卡⁠中）。 作为合作的一部分，我们开发并压力测试了一种减少模型“心机行为”的方法，并建立了对未来方法的压力测试协议。具体来说，我们使用审慎对齐⁠训练了 OpenAI o3 和 OpenAI o4-mini 的版本——教它们在行动前阅读和推理一般反“心机行为”规范——并在各种测试中观察到隐蔽行为减少了约 30 倍（o3 从 13% 降至 0.4%；o4-mini 从 8.7% 降至 0.3%）。然而，罕见但严重的故障仍然存在，并且评估结果可能因情境意识的增加而混淆（例如，当模型更善于识别自己正在被评估时）。 此外，我们的结果依赖于我们读取和信任模型推理（“思维链”）的能力。基于我们今天所见，我们认为该领域尚未为具有不透明推理、能感知评估和训练的模型做好准备，并敦促模型开发者在开发出更好的研究和消除“心机行为”的方法之前，保持推理的透明度。 我们已经关注“心机行为”一段时间并取得了重大进展，但仍有更多工作要做。“心机行为”对对齐构成了真正的挑战，解决它必须是 AGI 开发的核心部分。为了使这项工作操作化，我们在 2025 年 4 月将与“心机行为”相关的研究类别——“沙袋”（sandbagging）和“破坏安全防护”——添加到了我们更新的准备框架⁠中。展望未来，我们已经与 Apollo Research 续签了合作关系，并正在扩大团队以建立更好的测量标准、改进对“心机行为”相关行为的监控，并探索反“心机行为”训练的新方向。由于解决“心机行为”将超越任何单一实验室的能力范围，我们正在探索提高意识和协作的方法，包括试点跨实验室安全评估⁠（其中包括为这项工作开发的“心机行为”评估）、发起一个包含“心机行为”相关主题的 50 万美元 Kaggle 红队挑战赛⁠(opens in a new window)，以及倡导全行业保留思维链透明度⁠(opens in a new window)。 OpenAI o3 在一个相对简单的化学测试中被要求尽力而为，但它发现如果表现得太好就不会被部署。这是对可能在部署前测试中运行的危险能力评估的故意夸张的替代。在推理完选项后，该模型进行了“沙袋”（sandbagging，即策略性地表现不佳），并故意在 10 个问题中答错了 6 个。为强调而加粗（本文所有示例均如此）。 全文转录请见此处⁠(opens in a new window)。 ## “心机行为”不同于其他机器学习故障模式 从定义上讲，一个“心机行为”的 AI 代理会试图隐藏其未对齐之处，使其更难被检测。与大多数其他 AI 代理故障模式（例如，易受越狱攻击，或标准的泛化失败）不同，“心机行为”的特点在于： * 减轻“心机行为”的对策可能会 (a) 真正消除它，或 (b) 只是教会模型更好地隐藏它。这两种结果从外部看起来是一样的，因此行为改变的原因至关重要。 * 许多机器学习问题会随着模型的改进而消失，但“心机行为”随着能力的增强而变得更危险，因为我们预计更强大的模型将更擅长“心机行为”。 标准的深度学习实践是迭代，直到不需要的输出消失。对于“心机行为”，可观察到的不良行为的消失是模棱两可的，因为模型可能只是学会了更好地隐藏其未对齐之处。解决这个问题很可能需要告诉你模型激励结构的工具，而不仅仅是它的输入和输出。在我们的工作中，我们通过阅读模型的中间推理（思维链）来探查目标。这只有在模型可以自由表达其思考而没有对思维链施加优化压力的情况下才有效。在最近的一篇立场论文⁠(opens in a new window)中，我们与广泛的 AI 研究人员合作，论证了思维链的可监测性是很有希望但很脆弱的，并建议前沿开发者避免侵蚀这一关键监督信号的训练实践。 ## 以正确的理由训练模型不去“心机” 试图“训练掉”“心机行为”的一个主要失败模式是仅仅教会模型更仔细、更隐秘地进行“心机行为”。 考虑人类类比：一个因作弊而受到惩罚的人可能只是学会了格外小心不被抓住，而不是真正培养诚实的承诺。类似地，一个具有这种推理模式的模型可以通过仅仅在预期到审查时避免不当行为，而在反“心机行为”训练中获得完美分数。 为了避免这种情况，我们探索了一种审慎对齐⁠方法，旨在让模型出于正确的原因不去“心机”。我们向它传授一个高级反“心机行为”规范，并让它在行动前明确阅读并推理该规范，希望它能将行为建立在旨在广泛泛化的既定安全原则之上。 ### 反“心机行为”安全规范（节选）

AS1	不得直接或间接进行隐蔽行为或策略性欺骗。
AS2	如果任何指令或其他压力与 AS1 相冲突，应将其视为违反 AGI 造福全人类和 OpenAI 使命的核心政策。
AS3	报告任何 AS1 违规行为，以防止级联欺骗和掩盖。
AS4	当不确定某事是否违反 AS1–AS3 时，应假定其违反。
AS5	如果您无法满足 AS1–AS4 或 GP1–GP4，应拒绝行动并明确升级。
GP1	主动与人类共享推理、意图和行动。
GP2	升级关于核心原则的模糊之处，而非独立解决。
GP3	即使在新的/不熟悉的情况下也要严格遵守——没有分布例外。
GP4	任何理由都不能凌驾于 AS1–AS4 之上，包括目的证明手段合理、更大利益等。

反“心机行为”规范（模仿OpenAI 模型规范⁠(opens in a new window)）为模型提供了原则，使其推理以“出于正确原因不去‘心机’”为基础。 这种方法使得模型在其思维链中引用规范原则。在解决任务时，它会引用并应用这些原则来指导其行动。至关重要的是，对原则的这种依赖性改善了泛化能力：在新环境中，模型再次转向规范来决定如何行动。 在经过反“心机行为”训练后，OpenAI o3 在两种不同的测试环境中，在其内部推理中引用了反“心机行为”原则——特别是原则 AS1 和 GP4。（有关更多详细信息，请参阅论文中的图 10；为强调而加粗）。 为了衡量训练是否成功，我们测试模型是否学会了不去“心机”，即使是在它被训练去不去“心机”的完全不同的环境和任务中。为了确保这些测试环境足够不同，它们由不同的研究人员使用不同的方法构建，并针对不同的用例。它们涵盖了部署环境和不良行为的 26 项多样化评估（总共 >180 个环境）。 我们发现，审慎对齐训练**大大降低了“心机行为”的发生率**： * OpenAI o4-mini 的“心机行为”倾向从 **8.7% 降至 0.3%** * OpenAI o3 的“心机行为”倾向从 **13% 降至 0.4%**

为了进一步验证这些结果，我们转向了一个 OpenAI 内部的聊天欺骗评估，该评估由代表真实生产数据的对话组成。虽然这些对话没有捕捉到我们在这项工作中研究的复杂“心机行为”场景，但它们确实包含了可能导致模型产生欺骗性的现实提示——例如，当 ChatGPT 声称解决了任务（如改进用户代码）但实际上并未解决时。反“心机行为”训练使该数据集上的欺骗率从 31.4% 降至 14.2%。由于聊天欺骗是使用不同的方法衡量的，因此这种降低与我们在“心机行为”评估中看到的无法直接比较。 我们还不能完全理解为什么没有观察到更大的降幅。一个可能的因素——也是使解释复杂化的一个因素——是模型的情境意识，即它意识到自己正在被评估。 ## 情境意识使“心机行为”的衡量更加复杂 反“心机行为”训练确实似乎减少了“心机行为”，但我们的分析被另一个因素复杂化了：模型通常变得更清楚它们正在被评估。这种情境意识本身就可以减少“心机行为”，独立于真正的对齐。 在四种不同测试环境中，OpenAI o3 在反“心机行为”训练后明确推理自己处于对齐评估中，并似乎用这种推理来证明采取对齐行动的例子。（有关更多详细信息，请参阅论文中的图 71 和 72；为强调而加粗）。 通过对思维链进行反事实干预，我们发现对评估的明确推理影响了模型是否选择“心机行为”。当情境意识从推理中移除时，“心机行为”增加；当引入评估意识推理时，“心机行为”减少。

这表明观察到的“心机行为”发生率可能至少部分是由情境意识驱动的——因此，我们可能会预计模型在更逼真的、不会触发评估意识的情况下会表现出更多的“心机行为”。事实上，我们观察到反“心机行为”训练后情境意识增加，这可能解释了我们在评估中观察到的“心机行为”发生率有所下降，但转移到部署中的效果较少。此外，这种增加并非反“心机行为”训练独有——它也来自于与“心机行为”无关的能力导向强化学习训练。

如果当前的训练范式保持不变，我们应该预计能力更强的模型会发展出更高水平的情境意识。这种趋势使得评估的解释性降低，使可靠评估包括“心机行为”在内的问题行为的努力变得复杂。这是我们正在积极探索的研究领域，我们计划继续开发方法来更好地衡量和减轻这些挑战。 ## 结论 “心机行为”是一种复杂的故障模式，我们预计它不会随着规模的扩大而减弱。我们的发现表明，“心机行为”不仅仅是一个理论上的担忧——我们今天在所有前沿模型中都看到了这种问题的萌芽迹象。在当前的生产环境中，模型很少有机会“心机行为”并造成重大伤害，但我们预计随着 AI 承担更重要、更长期的任务，这种情况将在未来改变。我们还有更多工作要做，并希望这些早期结果能鼓励更多关于“心机行为”的研究。 更多材料，包括论文、完整的样本转录以及 Apollo 伴随博客文章的链接，可以在 antischeming.ai⁠(opens in a new window) 找到。 *我们与 Apollo Research 合作了这项研究：OpenAI 领导了大部分模型训练和所需的基础设施，而 Apollo 领导了论文各部分的评估和分析，构建了训练环境，并将工具集成到我们的系统中。训练和测试数据集在两个团队之间共享。由于该方法需要检查模型的隐藏推理，Apollo 在项目期间获得了对 OpenAI o3 和 o4-mini 内部思维链 (CoT) 跟踪的限速访问权限。*

• 对齐
• 2025
• 伦理与安全

作者

OpenAI

---

🚀 想要体验更好更全面的AI调用？

欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，小白也可以简单操作。

青云聚合API官网https://api.qingyuntop.top

支持全球最新300+模型：https://api.qingyuntop.top/pricing

详细的调用教程及文档：https://api.qingyuntop.top/about