📢 转载信息
原文作者：Microsoft Research
减少人工智能中的隐私泄露：两种实现情境完整性的方法
大型语言模型（LLM）的应用正在迅速扩展，从编写代码到为客户提供支持。然而，这些模型在训练和推理过程中可能会无意中泄露训练数据中的私人信息，引发了重大的隐私担忧。研究人员正致力于开发方法来减轻这些风险，其中一个有前景的途径是采用情境完整性（Contextual Integrity, CI）的原则。
情境完整性是由Helen Nissenbaum提出的一个隐私框架，它关注信息的适当流。它认为隐私泄露不仅仅是信息本身是否被公开，更重要的是信息是否在适当的情境下，根据既定的规范进行共享。如果信息在不符合预期规范的情况下流出，就构成了侵犯隐私。
情境完整性在AI中的挑战
在AI系统中，数据（如用户的查询或训练数据）从一个情境（例如，用户输入）流向另一个情境（例如，模型响应或存储的训练集）。在这一过程中，隐私泄露通常发生于：
- 模型“记忆”了训练数据中的敏感信息，并在响应中不恰当地重现（记忆提取）。
- 输入给模型的敏感信息被不安全地处理或存储（输入泄露）。
两种基于情境完整性的缓解方法
为了解决这些问题，微软研究院提出了两种主要的方法，它们都试图通过控制信息流来维护情境完整性。
1. 输入侧的限制性处理
这种方法侧重于在信息进入AI系统或在处理过程中进行干预。目标是确保输入数据在进入模型之前就被净化或转换，从而防止模型接触到敏感内容或在生成过程中意外泄露这些内容。
这通常涉及使用差分隐私（Differential Privacy）等技术，或者在数据输入到模型之前进行严格的清洗和去标识化处理。关键在于为信息流设定明确的边界和限制。
2. 输出侧的修改
如果信息已经被模型处理或存储（例如，在训练阶段），那么输出侧的修改就变得至关重要。这种方法关注于模型生成响应的方式，确保响应不会违反预定的情境规范。
例如，如果模型在生成代码时可能会泄露训练数据中的专有代码片段，输出侧的干预可以修改这些片段，使其变得不连贯、模糊或完全移除敏感部分，从而维护信息流的合规性，即使底层信息可能存在。
平衡实用性与隐私保护
实施这些方法面临一个核心挑战：如何在保证AI模型效能（Utility）的同时，实现严格的隐私保护（Privacy）。过于严格的输入限制可能导致模型性能下降，而过于宽松的输出修改则可能使模型输出变得无用。
情境完整性提供了一个有力的框架来指导这种权衡：隐私的程度应该取决于信息的敏感性和接收方的恰当性。研究的下一步将是开发更精细的控制机制，允许开发者根据具体应用场景（例如，医疗诊断与日常文本生成）动态调整隐私保护级别，确保只有在允许的情境下，信息才以适当的形式流出。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区