📢 转载信息
原文作者：Microsoft Research
研究发现：个人信息泄露在人工智能模型中普遍存在
人工智能模型（AI）的广泛应用带来了便利，但也带来了隐私泄露的风险。我们（微软研究院的团队）的研究发现，大型语言模型（LLM）在训练过程中可能会无意中记忆并泄露训练数据中的个人身份信息（PII）。
我们使用了一个名为 PII Hunter 的工具，评估了三个领先的开源 LLM 的隐私泄露情况。研究表明，这些模型在特定条件下，确实会泄露训练数据中包含的个人信息。
语境完整性（Contextual Integrity）框架
为了解决这个问题，我们引入了 语境完整性（Contextual Integrity, CI） 这一理论框架。CI 框架由 Helen Nissenbaum 提出，它不仅仅关注数据收集的“是否合法”，更关注数据流动的“是否恰当”。它基于四个原则：
- 主体（Principal）：信息提供者。
- 接收方（Recipient）：信息的使用者。
- 信息类型（Information Type）：数据的性质（如健康信息、财务信息等）。
- 流通过程（Transmission Principle）：数据在不同主体和接收方之间流动的既定规范。
如果数据流的实际情况违反了预期的规范，那么就构成了 语境完整性侵犯。
两种实现语境完整性的方法
我们探索了两种主要方法，以帮助 AI 系统更好地遵循 CI 框架，减少隐私泄露：
方法一：基于语境的过滤（Context-Aware Filtering）
这种方法侧重于在模型训练或推理阶段，根据预设的语境原则来过滤或修改数据。我们研究了如何设计过滤器，以识别并模糊处理那些在特定情境下不应被共享或记忆的 PII。
这种方法的优势在于主动干预，但在实践中，准确定义和执行“恰当的”语境规则具有挑战性，因为语境是高度动态和情境化的。
方法二：数据源和流动的透明化（Transparency in Data Sources and Flows）
另一种方法是提高数据源和数据流动路径的透明度。通过建立清晰的数据溯源机制，我们可以更好地理解哪些数据被用于训练，以及模型在何种程度上“记住了”这些数据。
我们主张，AI开发者应该明确告知用户数据的用途和限制，这有助于用户对信息使用形成合理的预期，从而维护语境完整性。
挑战与未来方向
尽管这两种方法都有潜力，但在实际应用中仍面临诸多挑战：
- 语境复杂性：定义一个普遍适用的“恰当”语境规范非常困难。
- 模型记忆：如何确保模型完全不“记住”敏感信息，同时又不影响其整体性能，是一个权衡。
- 工具集成：如何将 CI 框架有效地集成到现有的 AI 开发和部署流程中。
我们的研究为构建更负责任、更尊重用户隐私的 AI 系统提供了理论基础和初步的实践方向。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区