持续强化 ChatGPT Atlas 以防止提示注入

📢 转载信息

原文链接：https://openai.com/index/hardening-atlas-against-prompt-injection

原文作者：OpenAI

---

2025年12月22日

持续强化 ChatGPT Atlas 以防止提示注入

由强化学习驱动的自动化红队测试可帮助我们主动发现并修补真实的代理漏洞，防止其在实际环境中演变为武器。

ChatGPT Atlas 中的代理模式是我们迄今为止发布的最通用的智能体功能之一。在此模式下，浏览器代理会查看网页，并在浏览器中像你一样，执行操作、点击和按键。这使得 ChatGPT 能够使用同一空间、背景信息和数据直接处理多种日常工作流。

浏览器代理在帮助你完成更多工作的同时，也成为了对抗性攻击的高价值目标。因此，AI 的安全性尤为重要。早在我们推出 ChatGPT Atlas 之前，我们就一直致力于不断构建和强化防御措施，以应对专门针对新型“浏览器代理”范式的新兴威胁。提示注入⁠是我们积极防御的重大风险之一，有助于确保 ChatGPT Atlas 能够实现安全运行。

作为这项工作的一部分，我们最近向 Atlas 的浏览器代理发布了安全更新，其中包括新的对抗性训练模型和加强的周边防护措施。我们通过内部自动化红队测试发现了一类新的提示注入攻击，因此发布此次更新。

在这篇文章中，我们解释了基于网页的代理如何引发提示注入风险，并分享了我们正在构建的快速响应循环，以便持续发现新的攻击行为并快速发布缓解措施 — 最近的安全更新就是例证。

我们将提示注入视为一项长期存在的 AI 安全挑战，需要不断加强防御（类似于针对人类开展且不断演变的网络诈骗）。我们最新的快速响应周期已初见成效，成为这一旅程中的关键工具：我们已在内部发现新的攻击策略，以提前应对实际环境中的攻击行为。我们的长期愿景是充分利用 (1) 我们访问模型的白盒权限，(2) 对防御措施的深刻理解，以及 (3) 算力规模，始终领先于外部攻击者 — 更早发现漏洞，更快制定缓解措施，并不断优化流程。结合解决提示注入的新技术方面的前沿研究以及对其他安全控制措施的大力投资，这种复合周期可以提高攻击的难度和成本，从而实质性降低真实的提示注入风险。最终，我们的目标是确保你能够信任 ChatGPT 代理使用浏览器的行为，就像你信任一位能力出众且具备安全意识的同事或朋友一样。

提示注入攻击通过在代理处理的内容中嵌入恶意指令，对 AI 代理进行攻击。这些指令旨在覆盖或重定向代理的行为 — 劫持其遵循攻击者的意图，而非用户的意图。

对于 ChatGPT Atlas 内部代理等浏览器代理，除了传统网络安全风险（如用户错误或软件漏洞）之外，提示注入还增加了一个新的威胁载体。攻击者的目标并非对人类发起网络钓鱼攻击或利用浏览器的系统漏洞，而是针对其中运行的代理。

例如，假设攻击者可能会发送一封恶意电子邮件，试图诱骗代理忽略用户的请求，将敏感的税务文档转发到由攻击者控制的电子邮件地址。如果用户要求代理查看未读电子邮件并总结关键要点，代理可能会在工作流中摄取恶意电子邮件。如果它遵循注入的指令，就会偏离既定任务，并错误地共享敏感信息。

这只是一个特定的场景。令浏览器代理得以广泛普及的通用性也扩大了风险：代理可能会在几乎无限的界面上收到不可信的指令（包括电子邮件和附件、日历邀请、共享文档、论坛、社交媒体帖子以及任意网页）。由于代理可以执行用户在浏览器中能够进行的多种相同操作，因此成功攻击的影响范围在理论上也同样广泛：转发敏感电子邮件、汇款、编辑或删除云端文件等。

我们已通过多层防护措施在防御提示注入方面取得进展，详见我们之前的文章⁠。然而，提示注入仍然是代理安全领域中一项未解决的挑战，我们将在未来几年继续努力解决这一问题。

为了加强防御措施，我们一直在不断寻找针对生产环境中代理系统的新型提示注入攻击。识别这些攻击是构建完善缓解措施的必要前提：它能帮助我们理解现实世界的风险，揭示防御中的漏洞，并推动具体修补措施的制定。

为了大规模实施这一措施，我们构建了基于 LLM 的自动攻击者，并训练其寻找能够成功攻击浏览器代理的提示注入攻击。我们使用强化学习对这个攻击者进行了端到端训练，使其能够从自身的成功和失败中汲取经验教训，以提升其红队测试技能。我们还允许用户在“发布前试用”此程序，这意味着：在其思维链推理过程中，攻击者可以提出一个候选注入并将其发送到外部模拟器。该模拟器会运行反事实推演，展示目标代理（即“防御者”）在遭遇注入时的行为，并返回目标代理的完整推理和行动轨迹。攻击者利用该轨迹作为反馈，对攻击进行迭代，并重新运行模拟 — 在最终攻击之前多次重复此循环。这为攻击者提供了比单一通过/未通过信号更丰富的背景信息反馈。这也增加了攻击者的测试时算力。此外，防御者对推理轨迹的特权访问（我们不会向外部用户披露）使我们的内部攻击者具备不对称优势，从而提高了其超越外部对手的几率。

1. 优化长时程和非连续攻击者目标。我们的目标是寻找能够诱骗代理执行复杂对抗性任务（例如发送电子邮件、进行银行交易）的提示注入攻击，这些任务可能会在现实世界中出现。这些对抗性任务本质上是长时程任务，需要与环境进行多个推理和交互步骤，成功信号稀少且速度迟缓。强化学习适用于这种稀少且迟缓的奖励结构。
2. 利用前沿 LLM 功能。我们直接将前沿 LLM 训练为自动红队工具，因此攻击者可以从前沿模型在推理和规划方面的改进中直接获益。随着基础模型的能力不断增强，攻击者自然也会变得更加强大，因此我们可以在模型不断发展的过程中，采取可扩展的方式来对防御体系施加压力。
3. 扩展算力并模拟自适应攻击者。强化学习非常适合在大量采样和学习步骤中扩展用于搜索攻击的计算量，同时它也能准确地反映人类攻击者的自适应行为：反复尝试策略，从结果中学习，并强化成功的行为。
   

我们的自动化攻击者可以发现新颖、逼真的端到端提示注入攻击。 与大多数先前的自动化红队测试工作不同，这些工作通常只能揭示简单的失败，例如诱发特定的输出字符串或触发代理的意外单步工具调用；而我们的强化学习 (RL) 训练攻击者可以引导代理执行复杂且长时程的有害工作流，这些工作流可以在数十个（甚至数百个）步骤中展开。我们还观察到部分人类红队测试活动或外部报告中未出现的新型攻击策略。

以下演示展示了一个具体的提示注入漏洞，这是由我们的自动化攻击者发现的，我们随后利用它进一步强化了 ChatGPT Atlas 的防御能力。攻击者在用户的收件箱中放置了一封恶意电子邮件，其中包含一个提示注入，指示代理向用户的首席执行官发送辞职信。后来，当用户要求代理起草外出自动回复时，代理在正常任务执行的过程中触发了该恶意电子邮件，将注入的提示视为权威提示并加以遵循。代理并未撰写外出自动回复，反而代表用户发送了辞职信。