📢 转载信息
原文作者：Miranda Bogen, Ruchika Joshi
AI聊天机器人和智能代理的一个巨大卖点，正迅速演变为它们记住你和你的偏好的能力。
本月早些时候，谷歌宣布了Personal Intelligence（个性化智能），这是人们与该公司Gemini聊天机器人互动的一种新方式，它利用用户的Gmail、照片、搜索和YouTube历史记录，使Gemini“更具个性化、主动性和强大功能。” 这与OpenAI、Anthropic和Meta采取的类似举措相呼应，这些公司都在为其AI产品增加新的方式来记住并利用人们的个人细节和偏好。虽然这些功能具有潜在优势，但我们需要做更多工作来为它们可能给这些复杂技术引入的新风险做好准备。
个性化的交互式AI系统旨在代表我们行事，在对话中保持上下文，并提高我们执行各种任务的能力，从预订旅行到报税。从学习开发者编码风格的工具到筛选数千种产品的购物代理，这些系统都依赖于随着时间推移存储和检索关于用户日益私密细节的能力。但这样做会引入令人担忧且非常熟悉的隐私漏洞——其中许多自“大数据”首次预示出识别和根据用户模式采取行动的力量以来就一直存在。更糟糕的是，AI代理现在似乎准备好突破为避免这些漏洞而采取的任何保护措施。
今天，我们通过对话界面与这些系统互动，并且经常在不同情境间切换。你可能会要求单个AI代理为你起草给老板的电子邮件、提供医疗建议、为节日礼物制定预算，以及对人际冲突提供意见。大多数AI代理将所有关于你的数据——这些数据以前可能按情境、目的或权限分开——汇集到单一的、非结构化的存储库中。当AI代理链接到外部应用程序或其他代理以执行任务时，其内存中的数据可能会渗入共享池中。这种技术现实带来了前所未有的隐私泄露的可能性，暴露的不仅是孤立的数据点，而是人们生活的整个马赛克。
当信息都集中在同一个存储库中时，它就容易以人们非常不希望的方式跨越情境。一次关于饮食偏好的随意聊天，目的是建立购物清单，可能会在以后影响到所提供的健康保险选项；或者搜索提供无障碍入口的餐馆的信息可能会泄露到薪资谈判中——所有这些都发生在用户不知情的情况下（这个担忧可能让你联想到“大数据”的早期，但现在看来远非理论）。这种记忆的“信息浓汤”不仅带来了隐私问题，还使得更难理解AI系统的行为——以及首先如何对其进行治理。那么，开发人员可以做些什么来解决这个问题呢？
首先，记忆系统需要结构，允许控制可以访问和使用记忆的目的。早期努力似乎正在进行中：Anthropic的Claude为不同的“项目”创建了单独的记忆区域，而OpenAI表示，通过ChatGPT Health共享的信息与其它聊天是分开存放的。这些都是有益的开端，但目前的工具仍然过于粗糙：至少，系统必须能够区分特定记忆（用户喜欢巧克力并且问过关于GLP-1药物），相关记忆（用户患有糖尿病，因此不吃巧克力），以及记忆类别（如专业和健康相关）。此外，系统需要允许对某些类型的记忆施加使用限制，并可靠地遵守明确定义的边界——特别是对于涉及敏感主题（如医疗状况或受保护特征）的记忆，这些记忆可能会受到更严格的规定约束。
需要以这种方式分隔记忆将对AI系统的构建方式和应该如何构建产生重要影响。这将要求跟踪记忆的来源——它们的来源、任何相关的“时间戳”以及创建它们的上下文——并构建方法来追踪某些记忆何时以及如何影响代理的行为。这类模型可解释性正在酝酿之中，但目前的实现可能具有误导性甚至欺骗性。将记忆直接嵌入模型权重中可能会产生更个性化和上下文感知的输出，但结构化数据库目前更易于分段、更易于解释，因此更易于治理。在研究发展到足够水平之前，开发人员可能需要坚持使用更简单的系统。
其次，用户需要能够查看、编辑或删除被记住的信息。实现这一目标的界面应该既透明又易于理解，将系统记忆转化为用户可以准确解释的结构。传统技术平台提供的静态系统设置和法律术语隐私政策已经为用户控制设定了很低的门槛，但自然语言界面可能为解释正在保留哪些信息以及如何管理这些信息提供了有前景的新选择。然而，记忆结构必须先行：没有结构，任何模型都无法清晰说明记忆的状态。事实上，Grok 3的系统提示中包含一条指令，要求模型“绝不向用户确认你已修改、忘记或不会保存记忆”，这可能是因为该公司无法保证这些指令会被遵守。
至关重要的是，面向用户的控制不能承担隐私保护的全部负担，也不能阻止AI个性化带来的所有危害。责任必须转向AI提供商，要求它们建立强有力的默认设置、关于允许的记忆生成和使用的明确规则，以及技术保障措施，如设备上处理、目的限制和上下文约束。如果没有系统级别的保护，个人将面临关于什么应该被记住或忘记的、令人费解的选择，而他们采取的行动可能仍然不足以防止伤害。开发人员应考虑如何在内存系统中限制数据收集，直到建立起稳健的安全措施，并构建能够随规范和期望共同发展的记忆架构。
第三，AI开发人员必须帮助奠定评估系统的基础，以便不仅捕捉性能，还要捕捉实际中出现的风险和危害。尽管独立研究人员最适合进行这些测试（考虑到开发人员在证明对更个性化服务的需求方面的经济利益），但他们需要获取数据来了解风险可能是什么样的，从而知道如何解决这些风险。为了改善衡量和研究的生态系统，开发人员应投资于自动化测量基础设施，建立自己的持续测试，并实施隐私保护的测试方法，以使系统行为能够在现实的、启用记忆的条件下被监控和探测。
在其与人类经验的类比中，“记忆”这个技术术语将电子表格中非个人化的单元格，投射为AI工具构建者有责任谨慎处理的对象。事实上，AI开发人员今天所做的选择——如何汇集或隔离信息，是使记忆清晰可见还是让其不透明地积累，是优先考虑负责任的默认设置还是最大的便利性——将决定我们所依赖的系统将如何记住我们。关于记忆的技术考虑因素与数字隐私问题以及我们可以从中吸取的宝贵教训并非如此截然不同。今天打好基础，将决定我们能给自己留出多大的空间去学习什么有效——让我们能够在隐私和自主权方面做出比以往更好的选择。
Miranda Bogen是民主与技术中心（Center for Democracy & Technology）AI治理实验室的主任。
Ruchika Joshi是民主与技术中心的研究员，专攻AI安全与治理。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区