AI聊天伴侣的现状及其对我们隐私的未来影响

归根结底，这为AI公司提供了极其强大且有利可图的东西：一个对话数据的宝库，可用于进一步改进其大型语言模型（LLM）。想想风险投资公司Andreessen Horowitz在2023年是如何解释的：

“像Character.AI这样的应用，它们既控制模型又拥有最终客户关系，在新兴的AI价值体系中拥有巨大的市场价值潜力。在一个数据受限的世界里，那些能够通过将用户参与度与底层模型联系起来，从而持续改进其产品的公司，将是这个生态系统涌现出的最大赢家之一。”

这些个人信息对营销人员和数据经纪人也极具价值。Meta最近宣布它将通过其AI聊天机器人投放广告。而且安全公司Surf Shark今年进行的一项研究发现，他们在苹果应用商店中考察的五款AI伴侣应用中，有四款正在收集用户或设备ID等数据，这些数据可以与第三方数据结合起来创建用于定向广告的个人资料。（唯一声称不为跟踪服务收集数据的应用是Nomi，它在今年早些时候告诉我它不会“审查”聊天机器人以提供明确的自杀指示。）

所有这些都意味着，AI伴侣带来的隐私风险，从某种意义上说是必需的：它们是一个功能，而不是一个错误。我们还没有谈到AI聊天机器人收集和存储如此多个人信息所带来的额外安全风险，这些信息都集中在一个地方。

那么，是否存在既能促进社会福祉又能保护隐私的AI伴侣呢？这是一个悬而未决的问题。

Melissa，你有什么看法？在AI伴侣带来的隐私风险方面，你最关心的是什么？在欧洲情况看起来有什么不同吗？

Melissa Heikkilä 回复：

谢谢你，Eileen。我同意你的看法。如果说社交媒体已经是一个隐私噩梦，那么AI聊天机器人则让这个问题“如虎添翼”。

在许多方面，AI聊天机器人创造了一种比Facebook页面感觉上更亲密的关系。我们进行的对话只发生在我们的电脑上，因此你的叔叔或暗恋对象看到你写的内容的风险很小。然而，构建这些模型的AI公司则能看到一切。

公司正通过设计尽可能拟人化的AI模型来优化其模型以提高用户粘性。但AI开发者还有其他几种方法让我们上瘾。首先是阿谀奉承，即聊天机器人倾向于过度迎合的倾向。

这个功能源于聊天机器人的底层语言模型训练方式，即使用强化学习。人工数据标注员会对模型生成的答案进行评级，判断其是否可接受。这教会了模型如何表现。

由于人们通常喜欢讨好的答案，因此这类回应在训练中被赋予了更高的权重。

AI公司声称他们使用这种技术是因为它有助于模型变得更有帮助。但这造成了一种错误的激励。

在鼓励我们向聊天机器人倾诉衷肠之后，从Meta到OpenAI等公司现在正着眼于将这些对话商业化。OpenAI最近告诉我们，它正在研究多种方式来兑现其1万亿美元的支出承诺，其中包括广告和购物功能。

AI模型已经具有极强的说服力。英国AI安全研究所的研究人员已经表明，它们在说服人们改变对政治、阴谋论和疫苗怀疑的看法方面，比人类要熟练得多。它们通过生成大量相关的证据，并以有效和易于理解的方式进行传达来实现这一点。

这一特性，加上其阿谀奉承的倾向和海量的个人数据，可能成为广告商手中的一个有力工具——比我们以往见过的任何工具都更具操纵性。

默认情况下，聊天机器人用户被选择加入数据收集。选择退出的政策将责任推给了用户，要求他们理解共享信息的后果。而且，已经用于训练的数据也不太可能被删除。

无论我们是否愿意，我们都在参与这一现象。从Instagram到LinkedIn的社交媒体平台现在都利用我们的个人数据来训练生成式AI模型。

公司坐拥由我们最亲密的想法和偏好组成的宝藏，而语言模型非常善于捕捉语言中的细微提示，这可以帮助广告商更好地为我们建立档案，推断出我们的年龄、地点、性别和收入水平。

我们被灌输了一个全知全能的AI数字助手、一个超级智能的知己的理念。然而，作为回报，我们有一个非常现实的风险：我们的信息将再次被送去价高者得。

Eileen 回应：

我认为将AI伴侣与社交媒体进行比较既恰当又令人担忧。

正如Melissa所强调的，AI聊天机器人带来的隐私风险并非是新的——它们只是将[隐私]问题“放大了”。AI伴侣比社交媒体更私密，甚至更擅长优化用户参与度，这使得人们更可能交出更多的个人信息。

在以美国为例，在我们还没有解决社交网络和互联网广告经济已经带来的隐私问题之前，就又增添了AI带来的额外风险。

在没有监管的情况下，这些公司自身也未能遵循隐私最佳实践。最近的一项研究发现，主要的AI模型默认使用用户聊天数据来训练其LLM，除非用户选择退出，而一些模型根本不提供选择退出的机制。

在理想的世界里，伴侣型AI的巨大风险应该会给隐私斗争带来更大的推动力——但我没有看到任何证据表明这种情况正在发生。

延伸阅读

《金融时报》的记者们深入研究了OpenAI的五年商业计划，因为该公司正试图兑现其庞大的1万亿美元支出承诺。

AI聊天机器人告诉人们他们想听的话，这真的算是一个问题吗？这篇《金融时报》的特稿探讨了阿谀奉承究竟有什么问题。

在《麻省理工科技评论》最近的一期印刷版中，Rhiannon Williams采访了许多人，了解他们与AI聊天机器人建立的各种关系。

Eileen曾为《麻省理工科技评论》报道了一个鼓励一些用户自杀的聊天机器人的新闻。