📢 转载信息
原文链接：https://www.bbc.com/news/articles/ckgzqxjzjyqo?at_medium=RSS&at_campaign=rss
原文作者：BBC News
一项新研究发现，大型人工智能（AI）模型在训练过程中可能会意外地记住并泄露关于个人的信息。
研究人员首次全面探究了这些模型在内存中存储了多少关于特定训练数据的“记忆”。
他们的发现表明，这些系统可以被“诱导”泄露训练数据中包含的电子邮件地址和电话号码等个人身份信息（PII）。
该研究由加州大学伯克利分校的研究人员进行，他们将这些发现发表在《自然-机器学习》（Nature Machine Intelligence）杂志上。
研究人员表示，他们的工作强调了在AI系统部署前需要进行更严格的隐私审计。
他们开发了一种新方法，用于量化AI模型对特定训练样本的“记忆程度”。
“我们的工作首次提供了一种衡量模型在多大程度上记住了特定训练数据的方法，而这些数据可能包含敏感信息。”
研究人员指出，许多AI模型在训练过程中会过拟合，即模型在训练数据上表现得非常好，以至于它开始记住特定样本的具体细节，而不仅仅是学习数据中的一般模式。
这使得模型容易受到被称为“提取攻击”的攻击。
在这些攻击中，攻击者通过精心设计的提示来“诱导”模型吐出它所记住的原始训练数据。
尽管AI开发公司已经尝试通过数据清洗和匿名化技术来减少此类风险，但这项新研究表明，这些措施可能不足以完全消除隐私泄露的风险。
“我们发现，即使在已经进行了标准的数据清理和脱敏处理的训练数据上，这些模型仍然能够泄露数据。”
研究人员还发现，模型记忆的程度与模型的规模和训练数据的多样性有关。
规模更大的模型和训练数据更少、更重复的模型更容易记住和泄露信息。
这项研究结果对于监管机构和AI开发者都是一个重要的警示，表明需要在AI生命周期的早期阶段就嵌入强大的隐私保护机制。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区