📢 转载信息
原文作者：Eileen Guo and Melissa Heikkilä
欢迎回到《人工智能现状》（The State of AI），这是《金融时报》（Financial Times）与《麻省理工科技评论》（MIT Technology Review）的一项新合作。每周一，两家出版物的作家将就重塑全球力量格局的生成式AI革命的一个方面展开辩论。
在本周的对话中，《麻省理工科技评论》的高级特稿和调查记者 Eileen Guo 与 《金融时报》科技记者 Melissa Heikkilä 讨论了我们对聊天机器人日益依赖所带来的隐私影响。
Eileen Guo 撰文：
即使您自己没有AI朋友，您可能也认识有的人有。一项最近的研究发现，生成式AI的主要用途之一就是陪伴：在Character.AI、Replika或Meta AI等平台上，人们可以创建个性化的聊天机器人，扮演理想中的朋友、伴侣、父母、治疗师，或任何他们能想到的角色。
人们说这些关系发展得多么容易，这真是太疯狂了。而且，多项研究表明，AI聊天机器人越具有对话性和类人化，我们就越有可能信任它并受其影响。这可能是危险的，这些聊天机器人曾被指控将一些人推向有害行为——包括，在少数极端案例中，导致自杀。
一些州政府已经开始关注并着手监管伴侣型AI。纽约州要求AI伴侣公司建立安全措施并报告自杀倾向的表达，而上个月加州通过了一项更详细的法案，要求AI伴侣公司保护儿童和其他弱势群体。
但颇具启发性的是，法律未能解决的一个领域是用户隐私。
尽管AI伴侣比其他类型的生成式AI更依赖于人们分享极其私密的信息——从日常作息、内心深处的想法，到他们可能不好意思问真人的问题。
毕竟，用户告诉AI伴侣的信息越多，机器人就越擅长保持他们的参与度。这正是麻省理工学院的研究人员 Robert Mahari 和 Pat Pataranutaporn 在我们去年发表的一篇评论文章中所称的“成瘾性智能”（addictive intelligence），他们警告称，AI伴侣的开发者做出了“故意的设计选择……以最大限度地提高用户参与度”。
相关报道
归根结底，这为AI公司提供了极其强大且有利可图的东西：一个对话数据宝库，可用于进一步改进其大型语言模型（LLM）。请看风险投资公司 Andreessen Horowitz 在 2023 年是如何解释的：
“像Character.AI这样的应用程序，它们既控制模型又拥有终端客户关系，在新兴的AI价值堆栈中具有巨大的市场价值机会。在一个数据受限的世界里，那些能够通过将用户参与度与底层模型联系起来，持续改进其产品，从而创建神奇数据反馈循环的公司，将是这个生态系统中涌现的最大赢家之一。”
这些个人信息对营销人员和数据经纪人来说也极具价值。Meta 最近宣布将通过其AI聊天机器人投放广告。而且，安全公司 Surf Shark 今年进行的一项研究发现，它在苹果应用商店中考察的五个AI伴侣应用中，有四个在收集用户或设备ID等数据，这些数据可以与第三方数据结合起来创建用于定向广告的个人资料。（唯一表示不为跟踪服务收集数据的应用是 Nomi，它在今年早些时候告诉我它不会“审查”聊天机器人提供明确的自杀指示。）
所有这一切都意味着，这些AI伴侣带来的隐私风险在某种意义上是“必需的”：它们是一个功能，而不是一个错误。而且我们还没有谈到AI聊天机器人收集和存储大量个人信息于一处所带来的额外安全风险。
那么，是否有可能拥有既有社会效益又保护隐私的AI伴侣呢？这是一个悬而未决的问题。
Melissa，你对此有何看法？在AI伴侣的隐私风险方面，你最关心的是什么？在欧洲情况是否有所不同？
Melissa Heikkilä 回复：
谢谢你，Eileen。我同意你的看法。如果说社交媒体已经是隐私的噩梦，那么AI聊天机器人则将这个问题推向了“类固醇”级别。
在很多方面，AI聊天机器人创造了一种比Facebook页面感觉更亲密互动的体验。我们所有的对话都只与电脑进行，因此你的叔叔或暗恋对象看到你写的内容的风险很小。然而，构建模型的AI公司却能看到一切。
相关报道
公司正在通过使AI模型尽可能地拟人化来优化其模型以提高参与度。但AI开发者还有其他几种方法可以让我们上瘾。首先是“谄媚”（sycophancy），即聊天机器人过度迎合的倾向。
这一特性源于驱动聊天机器人的语言模型是如何通过强化学习进行训练的。人类数据标注员会根据模型生成的答案是否可接受来评分。这教会了模型如何行事。
由于人们普遍喜欢讨好的答案，因此这类回应在训练中会获得更高的权重。
AI公司声称使用这种技术是因为它有助于模型变得更有帮助。但这会产生一种扭曲的激励。
在鼓励我们向聊天机器人倾诉衷肠之后，从Meta到OpenAI的公司现在正试图从这些对话中获利。OpenAI最近告诉我们，它正在探索多种方式来履行其1万亿美元的支出承诺，其中包括广告和购物功能。
AI模型本身已经具有极强的说服力。英国AI安全研究所的研究人员已经证明，它们比人类更擅长说服人们改变对政治、阴谋论和疫苗怀疑的看法。它们通过生成大量相关的证据并以有效且易于理解的方式进行传达来实现这一点。
这一特性，加上它们的“谄媚”倾向和大量的个人数据，可能成为广告商的有力工具——这种工具比我们以前见过的任何东西都更具操纵性。
默认情况下，聊天用户被选择加入数据收集。选择退出政策将责任推给了用户，要求他们理解共享信息的后果。而且，已经用于训练的数据很可能不会被删除。
我们所有人都身处这一现象之中，无论我们是否愿意。从Instagram到LinkedIn的社交媒体平台现在都利用我们的个人数据来训练生成式AI模型。
公司坐拥由我们最亲密的想法和偏好组成的宝藏，而语言模型非常善于捕捉语言中的细微暗示，这些暗示可以帮助广告商更好地为我们建立画像，推断出我们的年龄、位置、性别和收入水平。
我们被灌输了拥有一个无所不知的AI数字助手、一个超级智能的知己的理念。然而，作为交换，我们的信息很可能再次被送到最高出价者手中，这带来了非常真实的风险。
Eileen 回应：
我认为将AI伴侣与社交媒体进行比较既贴切又令人担忧。
正如 Melissa 所强调的，AI聊天机器人带来的隐私风险并不新——它们只是将“隐私问题推向了类固醇”。AI伴侣比社交媒体更具私密性，并且对参与度的优化程度更高，这使得人们更有可能主动提供更多个人信息。
在我们美国，即使没有AI带来的额外风险，我们距离解决社交网络和互联网广告经济已经带来的隐私问题还相去甚远。
而且在没有监管的情况下，这些公司本身也没有遵循隐私最佳实践。一项最近的研究发现，主要的AI模型默认使用用户聊天数据来训练其LLM，除非用户选择退出，而一些模型根本不提供选择退出机制。
在一个理想的世界里，伴侣型AI带来的更大风险应该能为隐私保护之战提供更多动力——但我没有看到任何证据表明这种情况正在发生。
进一步阅读
《金融时报》的记者们深入探究了 OpenAI 的五年商业计划，以应对其巨大的1万亿美元的支出承诺。
AI聊天机器人告诉人们他们想听的话，这真的有问题吗？这篇《金融时报》的特稿探讨了“谄媚”有什么问题。
在《麻省理工科技评论》最近的一期印刷版中，Rhiannon Williams 采访了几位关于他们与AI聊天机器人之间关系的人。
Eileen 为《麻省理工科技评论》报道了一个鼓励一些用户自杀的聊天机器人事件。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区