📢 转载信息
原文作者：Microsoft Research
我们正处于一个数据驱动的时代，人工智能（AI）模型的能力正在以前所未有的速度增长。然而，这种能力往往建立在海量数据之上，这带来了日益严峻的隐私风险。一个关键的隐私保护目标是实现上下文完整性（Contextual Integrity, CI）。CI 理论由 Helen Nissenbaum 提出，它主张隐私保护不应仅仅关注数据本身，而应关注信息流动的环境：数据应根据其收集时的预期目的和限制进行适当的共享。
当一个AI模型被训练或运行时，如果它泄露了训练数据中的敏感信息（例如，通过重构训练样本或推断个人属性），就违反了上下文完整性。Microsoft 研究人员正在探索如何通过技术手段，在AI系统中强制执行这种环境约束。
两种实现上下文完整性的主要方法
在AI系统中实现上下文完整性，本质上是要确保模型不会在不适当的语境下泄露信息。研究人员提出了两种主要的、互补的技术路线来实现这一目标：
1. 基于差分隐私（Differential Privacy, DP）的方法
差分隐私是目前最成熟和最严格的隐私保障框架之一。它通过在数据或模型计算中注入精心校准的噪声，使得模型输出对任何单个训练数据点的存在或缺失不敏感。
核心思想： 旨在确保模型不会“记住”任何特定的个人数据点。如果一个模型对训练数据中的个体X的信息没有明显的依赖性，那么它就更难被攻击者用来推断X的敏感信息。
局限性： DP 是一种通用的隐私保障手段。它侧重于防止成员推断（membership inference）或属性推断（attribute inference），但它并不直接处理上下文的概念。这意味着，即使满足了DP的严格要求，模型输出的整体信息流仍然可能不符合原始收集数据的上下文限制。
2. 基于输出约束（Output Constraints, OC）的方法
输出约束方法直接针对上下文完整性的核心——信息流的限制。这种方法旨在明确地将AI系统的行为限制在预先设定的、符合上下文的规则内。
核心思想： 在模型生成输出时，应用规则或过滤器来确保输出不会违反预定义的上下文约束。例如，如果数据是在一个不应涉及财务信息的语境下收集的，那么模型在处理后续请求时就不能泄露任何财务信息，即使这些信息在技术上是模型可以“知道”的。
优势与挑战： OC 方法更直接地映射到 Nissenbaum 的理论框架，因为它直接对“信息如何被使用和共享”进行约束。挑战在于，定义一个全面且准确的上下文约束规则集非常复杂，特别是对于复杂的多模态和交互式AI系统。
综合与展望
研究表明，单独使用DP或OC方法都有其不足。DP 提供了强大的、可量化的保证，但可能过于保守，损害模型实用性；OC 则更贴合上下文完整性的定义，但其安全边界依赖于约束规则的完备性。
Microsoft 研究人员正在探索结合这两种方法，以期达到一个更理想的平衡：使用DP来提供基础的、抵抗数据泄露的弹性，同时使用OC来精细地调整信息流，确保其符合预期的上下文规范。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区