📢 转载信息
原文作者：Microsoft Research
BlueCodeAgent：由自动化红队对抗Codegen AI而成的蓝队代理
我们很高兴地宣布，微软研究院（Microsoft Research）正在努力创建一个能够有效识别并缓解与代码生成（Codegen）AI系统相关的安全风险的新型代理——BlueCodeAgent。
这项工作是在我们先前工作RedCodeAgent的基础上构建的，RedCodeAgent是一个自动化的红队代理，旨在通过发现各种代码代理的漏洞来提高其安全性。BlueCodeAgent则是一个蓝队代理，其专门用于评估和增强代码生成AI模型的安全性和鲁棒性。
我们利用RedCodeAgent在发现漏洞方面的能力，训练出了BlueCodeAgent，使其能够有效地对其他代码生成模型进行安全测试。这种“以毒攻毒”的方法，即使用一个自动发现漏洞的代理来训练另一个安全代理，是提升AI系统安全性的一个重要范式转变。
以下是有关该项目的关键点：
核心概念：红队对抗蓝队
在网络安全领域，红队（Red Teaming）专注于模拟攻击者，主动寻找系统的弱点。而蓝队（Blue Teaming）则负责防御和加固系统，以抵御这些攻击。
- RedCodeAgent（红队）：自动生成恶意或有缺陷的代码提示（prompts）或代码补全，以测试目标代码AI模型的安全边界，寻找可能导致生成不安全、有漏洞或带有恶意意图代码的输入。
- BlueCodeAgent（蓝队）：利用从RedCodeAgent测试中学到的知识，蓝队代理被设计用来：
- 评估目标模型生成代码的安全性。
- 识别和标记潜在的安全风险。
- 建议修复或改进模型安全性的方法。
BlueCodeAgent 的训练与能力
BlueCodeAgent的训练过程是其成功的关键。它不是简单地被告知“不要生成恶意代码”，而是通过数千次与RedCodeAgent的对抗性交互中学习如何识别和防御攻击。
我们通过将RedCodeAgent生成的各种攻击场景作为训练数据，来增强BlueCodeAgent对安全威胁的敏感性。
BlueCodeAgent在以下方面表现出色：
- 识别微妙的注入攻击：能够检测到那些伪装成合法请求，但意图在于绕过安全过滤器的复杂提示。
- 评估补全的安全性：即使是部分代码补全，BlueCodeAgent也能预测最终代码可能引入的漏洞类型（如缓冲区溢出、SQL注入等）。
- 生成安全反馈：它不仅能指出问题，还能提供具体的、可操作的安全建议，帮助模型开发者进行微调。
对未来AI安全的重要性
随着代码生成AI模型在软件开发生命周期中扮演越来越重要的角色，确保这些工具的输出是安全可靠的至关重要。人工红队和蓝队测试的速度和规模都无法跟上AI模型迭代的速度。
BlueCodeAgent代表了一种自动化的、可扩展的安全保障层。通过让代理相互对抗，我们可以实现更快速、更深入的安全评估，从而加速AI代码助手的安全部署。
“我们相信，自动化对抗性训练是构建下一代安全AI系统的基石。BlueCodeAgent是向着能够自我保护的AI迈出的重要一步。” — MSR 研究团队
我们期待未来能将这种自动化红队/蓝队框架应用于更广泛的AI领域，不仅仅局限于代码生成，还包括其他可能产生安全风险的生成式AI应用。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区