📢 转载信息
原文链接：https://machinelearningmastery.com/5-essential-security-patterns-for-robust-agentic-ai/
原文作者：Iván Palomares Carrascosa
引言
智能体AI，围绕着称为智能体的自主软件实体，重塑了AI格局，并影响了其许多最显著的发展和趋势，包括基于生成式和语言模型的应用。
伴随智能体AI这样的主要技术浪潮，也带来了对其系统进行安全防护的需求。这样做需要从静态数据保护转向保护动态、多步行为。本文列出了5种关键的智能体AI安全模式，并强调了它们的重要性。
1. 即时工具权限 (Just-in-Time Tool Privileges)
通常缩写为JIT，这是一种安全模型，仅在需要时、并且仅在有限的时间内授予用户或应用程序专门的或提升的访问权限。它与经典的、永久性的权限形成对比，后者会一直保留，除非被手动修改或撤销。在智能体AI领域，一个例子是发放短期访问令牌，以在智能体被攻破时限制“爆炸半径”。
示例：在智能体运行账单对账作业之前，它会请求一个范围狭窄的、5分钟的只读令牌来访问单个数据库表，并在查询完成后立即丢弃该令牌。
2. 有限自主性 (Bounded Autonomy)
这一安全原则允许AI智能体在有限的环境中独立运行，即在明确定义的、安全参数范围内运行，从而在控制和效率之间取得平衡。在高风险场景下，这尤其重要，因为通过要求对敏感操作进行人工批准，可以避免完全自主性带来的灾难性错误。在实践中，这创建了一个控制平面，以降低风险并支持合规性要求。
示例：一个智能体可以自行起草并安排发送电子邮件，但任何发送给超过100个收件人（或包含附件）的消息都将转交人工批准后才能发送。
3. AI防火墙 (The AI Firewall)
这指的是一个专门的安全层，用于过滤、检查和控制输入（用户提示）和后续响应，以保护AI系统。它有助于防止诸如提示注入、数据泄露以及有毒或违反政策的内容等威胁。
示例：传入的提示会扫描是否存在提示注入模式（例如，要求忽略先前指令或泄露秘密），并且标记的提示在智能体看到它们之前，会被阻止或改写成更安全的形式。
4. 执行沙箱 (Execution Sandboxing)
在一个严格隔离的、私有的环境或网络边界中运行任何由智能体生成的代码：这就是所谓的执行沙箱。它通过限制不可信或不可预测的执行的影响，来帮助防止未经授权的访问、资源耗尽和潜在的数据泄露。
示例：一个编写Python脚本来转换CSV文件的智能体，会在一个锁定状态的容器内运行该脚本，该容器没有出站网络访问权限，具有严格的CPU/内存配额，并且对输入数据进行只读挂载。
5. 不可篡改的推理轨迹 (Immutable Reasoning Traces)
这项实践支持对自主智能体的决策进行审计，并检测行为问题，如漂移。它包括构建时间戳、防篡改和持久的日志，以捕获智能体的输入、用于决策的关键中间工件以及策略检查。这是实现自主系统透明度和问责制的关键步骤，尤其是在采购和金融等高风险应用领域。
示例：对于智能体批准的每一份采购订单，它都会将请求上下文、检索到的策略片段、应用的护栏检查以及最终决策记录在一个一次性写入的日志中，该日志可以在审计期间进行独立验证。
关键要点
这些模式作为分层系统工作效果最佳，而不是独立的控制。即时工具权限最大限度地减少了智能体在任何时刻可以访问的内容，而有限自主性则限制了它在没有监督的情况下可以采取的行动。AI防火墙通过过滤和塑造输入和输出来降低交互边界的风险，而执行沙箱则限制了智能体生成或执行的任何代码的影响。最后，不可篡改的推理轨迹提供了审计跟踪，让您可以检测漂移、调查事件并随着时间的推移持续收紧策略。
| 安全模式 | 描述 |
|---|---|
| 即时工具权限 | 仅在需要时授予短期、范围狭窄的访问权限，以减少被攻破后的爆炸半径。 |
| 有限自主性 | 限制智能体可独立执行的操作，将敏感步骤通过批准和护栏进行路由。 |
| AI防火墙 | 过滤和检查提示和响应，以阻止或中和提示注入、数据泄露和有毒内容等威胁。 |
| 执行沙箱 | 在具有严格资源和访问控制的隔离环境中运行智能体生成的代码，以限制危害。 |
| 不可篡改的推理轨迹 | 创建时间戳、防篡改的日志，记录输入、中间工件和策略检查，以实现可审计性和漂移检测。 |
总而言之，这些限制降低了单一故障转化为系统性泄露的可能性，同时又不消除使智能体AI具有吸引力的运营优势。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区