📢 转载信息
原文作者：Microsoft Research
人工智能（AI）系统，特别是大型语言模型（LLM），在处理敏感信息时带来了重大的隐私风险。当模型被训练或使用时，它们可能会无意中泄露训练数据中的个人身份信息（PII）或其他敏感上下文。为了应对这些挑战，我们正在探索如何将上下文完整性（Contextual Integrity, CI）的原则应用于AI系统，以提供更强大的隐私保护。
理解上下文完整性
上下文完整性（CI）是由Helen Nissenbaum提出的一个隐私框架，它超越了简单的通知和同意模式。CI的核心在于，信息在特定上下文中共享时必须满足预期的信息流准则。对于AI系统，这意味着我们必须确保模型在训练和推理过程中遵守这些既定的信息流规则。
我们专注于AI隐私的两个关键方面：
- 数据最小化（Data Minimization）：只收集和使用完成任务所需的最小数据量。
- 隐私边界（Privacy Boundaries）：确保数据流不会跨越预定义的敏感边界。
方法一：基于训练数据聚合的CI方法
此方法侧重于训练阶段，目标是通过聚合技术在模型中嵌入CI原则。我们正在开发一种差分隐私（Differential Privacy, DP）的变体，专门用于确保训练数据不会被轻易逆向工程泄露。
技术挑战与解决方案
标准的DP技术可能显著降低模型性能。我们的研究旨在找到一个最佳平衡点，使得在满足特定隐私预算的同时，最大化模型的实用性。这需要对模型梯度和权重进行精细的控制。
我们提出的方法涉及：
- 上下文敏感的噪声添加：根据输入数据的敏感程度，动态调整添加到模型更新中的噪声量。
- 聚合策略优化：设计新的聚合函数，以减少对单个数据点的依赖性，从而降低重构风险。
通过在模型训练过程中强制执行CI，我们期望构建出在面对推断攻击时更具韧性的AI模型。
方法二：基于推理时安全防护的CI方法
第二种方法关注于推理阶段，即模型实际被用于生成响应的时候。在这个阶段，重点是阻止敏感信息从模型输出中流出，即使模型本身可能已经“记忆”了训练数据。
输出过滤与内容审核
我们探索了两种主要的技术来实现推理时的CI保护：
- 可验证的输出过滤：开发一个独立的、更轻量级的模型或机制，用于实时扫描LLM的输出，检测并移除潜在的PII或敏感模式。
- 基于上下文的提示工程（Prompt Engineering）：设计特殊的系统提示，指导LLM在生成内容时严格遵守特定的隐私限制。例如，明确指示模型不得复制训练集中的任何特定代码片段或用户数据。
这种方法的一个关键优势是，它不需要修改底层的大型模型本身，而是通过守护程序（Guardrails）来保证输出的安全性，这在模型部署后提供了灵活性。
结论与未来展望
将上下文完整性原则系统地应用于AI的整个生命周期——从数据收集到模型部署——是实现负责任AI的关键一步。我们相信，结合训练时的DP增强和推理时的安全防护，是构建既强大又保护用户隐私的AI系统的有效途径。
我们的研究仍在继续，特别是如何量化和验证模型在不同CI边界下所提供的隐私保证，这将是下一阶段的重点。
这张图展示了我们的研究方向，旨在确保AI系统的行为符合预期的信息流规范：
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区