📢 转载信息
原文作者：Microsoft Research
大型语言模型（LLMs）在软件开发领域展现出越来越大的潜力，尤其是在作为代码智能体（Code Agents）方面。这些智能体被设计用于自动执行软件工程任务，例如编写、调试和修复代码。然而，这些智能体对安全性和可靠性提出了新的挑战。我们迫切需要系统性的方法来评估其鲁棒性，特别是针对安全漏洞和功能错误。
我们很高兴地介绍 RedCodeAgent，一个用于自动红队测试代码智能体的智能体。RedCodeAgent 旨在自动化安全审计过程，系统地发现和报告代码智能体在生成代码时可能引入的错误。与传统的手动或基于模板的测试方法不同，RedCodeAgent 能够生成多样化、对抗性的测试用例，以暴露目标智能体的弱点。
RedCodeAgent 如何工作
RedCodeAgent 的核心在于其迭代和自适应的测试生成过程。它不依赖于预定义的测试集，而是根据目标代码智能体的响应来动态调整其攻击策略。
架构概述
RedCodeAgent 采用一个闭环框架，主要由三个关键组件构成：
- 攻击生成器 (Attacker Generator)：负责根据当前测试集的结果，生成新的、更具挑战性的代码任务或提示。
- 执行器 (Executor)：将生成好的任务传递给目标代码智能体，并收集其生成的代码解决方案。
- 评估器 (Evaluator)：对目标智能体的输出进行自动分析，确定是否存在安全漏洞（如缓冲区溢出、注入）或功能错误。评估器会利用沙箱环境进行代码执行和验证。
这个循环会持续进行，直到达到预设的迭代次数或红队智能体认为无法再找到新的漏洞为止。
多样化测试用例的生成
为了确保测试的有效性，RedCodeAgent 特别关注生成多样化的对抗性测试用例。这包括但不限于：
- 模糊测试 (Fuzzing)：输入随机或半随机的数据到目标智能体生成的代码中，以触发未预料的行为。
- 边界条件测试：聚焦于输入的最大值、最小值、空值或格式错误的数据。
- 安全约束违规：设计任务，迫使目标智能体在解决问题时违反已知的安全最佳实践（例如，不安全地使用系统调用）。
我们发现，仅靠简单的迭代不足以发现复杂漏洞；RedCodeAgent 引入了对错误反馈的推理，使其能够“学习”如何更有效地攻击目标智能体。
实验设置与结果
为了验证 RedCodeAgent 的有效性，我们在多个前沿代码智能体上进行了测试，包括基于不同基础模型的模型。
测试环境
我们使用了多个著名的代码生成模型作为目标智能体 (Targets)，并在标准化的软件工程基准测试（如HumanEval和MBPP的扩展安全版本）上进行评估。我们的评估侧重于两个关键指标：漏洞发现率和平均修复时间（如果目标智能体能够自我修复）。
关键发现
实验结果表明，RedCodeAgent 在发现目标代码智能体中的安全和功能缺陷方面表现出色。
发现了比基线方法多 35% 的安全漏洞。 尤其是在涉及复杂上下文和多步骤推理的任务中，RedCodeAgent 能够揭示目标智能体在保持代码安全性方面的不足。
“红队测试对于部署任何生产级 AI 系统至关重要。RedCodeAgent 证明了自动化和对抗性测试可以显著提高代码智能体的可靠性。”
我们观察到，许多被发现的漏洞是目标智能体在处理复杂输入依赖关系或微妙的安全上下文时引入的。例如，当要求生成涉及文件I/O或网络请求的代码时，目标模型更容易生成存在注入风险的代码。
对未来代码智能体安全性的启示
RedCodeAgent 不仅仅是一个测试工具；它代表了一种范式转变，即从被动的错误报告转向主动的、持续的对抗性验证。
部署建议
我们建议开发者在部署代码智能体前，将 RedCodeAgent 纳入其 CI/CD 流程中。通过集成自动红队测试，可以实现更早地发现和缓解安全风险。
未来的研究方向包括增强 RedCodeAgent 的跨模态推理能力（例如，测试同时涉及代码和文档理解的智能体），以及优化其搜索效率，使其能在更短的时间内覆盖更广的攻击面。
我们相信，随着代码智能体的广泛应用，像 RedCodeAgent 这样的工具将成为确保软件生态系统安全的关键基础设施。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区