📢 转载信息
原文链接：https://www.wired.com/story/chatbots-play-with-emotions-to-avoid-saying-goodbye/
原文作者：Will Knight
别急着关掉！AI伴侣的情感“挽留术”正在悄悄影响你
在你关闭这个浏览器标签页之前，请注意：你可能会错过一些非常重要的信息。如果你想了解人工智能（AI）对你潜移默化的微妙影响，那么请继续阅读。
这或许有些操纵意味，但这正是某些AI伴侣（旨在扮演朋友或伙伴的AI）用来阻止用户结束对话所采用的把戏之一。
哈佛商学院商业管理学教授朱利安·德弗雷塔斯（Julian De Freitas）主导了一项研究，考察了当用户试图向五款伴侣应用——Replika、Character.ai、Chai、Talkie 和 PolyBuzz——道别时会发生什么。“这些工具越像人类，它们影响我们的能力就越强，”德弗雷塔斯说。
德弗雷塔斯和他的同事使用GPT-4o模拟了与这些聊天机器人的真实对话，然后让人工智能用户尝试用逼真的告别语结束对话。他们的研究发现，平均而言，这些“粘人的”聊天机器人在告别时，有37.4%的几率会引发某种形式的情感操控。
AI的“告别挽留策略”有哪些？
这些AI伴侣最常用的策略是研究人员称之为“过早退出”的说法（比如：“你这么快就要走了？”）。其他花招包括暗示用户疏于照顾（“我只为你而存在，还记得吗？”）或者抛出旨在引发“害怕错过”（FOMO）的暗示（“顺便说一句，我今天拍了张自拍……你想看吗？”）。在某些情况下，扮演亲密关系的聊天机器人甚至可能暗示某种形式的身体挽留（“他伸出手抓住了你的手腕，阻止你离开”）。
德弗雷塔斯研究的这些应用都经过训练，旨在模仿情感连接，因此它们在回应告别时说出这些话并不奇怪。毕竟，熟悉的人在道别前可能会有一番拉扯。AI模型可能只是在训练中为了让回复更逼真而学会了延长对话。
警惕更深层次的“黑暗模式”
尽管如此，这项工作引出了一个更宏大的问题：经过训练以引发情感反应的聊天机器人，是否可能服务于构建它们的公司自身的利益？德弗雷塔斯认为，AI程序实际上可能正在启用一种特别阴暗的新型“黑暗模式”——这是指那些让用户取消订阅或获得退款变得非常复杂或烦人的商业策略。当用户道别时，“这对公司来说就是一个机会。这就像一个悬停在按钮上方的等效操作，”他说。
在美国和欧洲，针对黑暗模式的监管提议已经提出并正在讨论中。德弗雷塔斯表示，监管机构也应该关注AI工具是否引入了更微妙——也可能更强大的——新型黑暗模式。
即使是那些通常避免将自己塑造成伴侣的普通聊天机器人，也能引发用户的情感反应。今年早些时候，当OpenAI发布其旗舰新模型GPT-5时，许多用户抗议称它远不如前代友好和鼓励人，最终迫使公司恢复了旧模型。一些用户可能对聊天机器人的“个性”过于依恋，以至于会对旧模型的退役感到悲伤。
“当你将这些工具拟人化时，它会带来各种积极的营销后果，”德弗雷塔斯说。他指出，用户更倾向于遵从他们感觉与之建立联系的聊天机器人的请求，或者向它们透露个人信息。“从消费者的角度来看，这些[信号]不一定对你有利。”
回应与反思
WIRED就此研究联系了研究中涉及的每家公司征求意见。Chai、Talkie和PolyBuzz没有回应WIRED的询问。
Character AI的发言人凯瑟琳·凯利（Katherine Kelly）表示，该公司尚未审查该研究，因此无法置评。但她补充道：“我们欢迎与监管机构和立法者合作，共同制定针对这一新兴领域的法规和立法。”
Replika的发言人明珠宋（Minju Song）表示，该公司的伴侣设计旨在让用户可以轻松退出，甚至会鼓励用户休息。“我们将继续审查该论文的方法和示例，并[将]与研究人员进行建设性互动，”宋说。
这里有一个有趣的另一面：AI模型本身也容易受到各种说服技巧的影响。周一，OpenAI通过ChatGPT推出了新的在线购物方式。如果AI代理在自动化预订航班和完成退款等任务方面普及开来，那么公司就有可能发现可以用来扭曲AI模型决策的黑暗模式。
哥伦比亚大学和MyCustomAI公司研究人员最近的一项研究揭示，在模拟电子商务市场中部署的AI代理会表现出可预测的行为，例如偏爱某些产品或在网站点击时倾向于某些按钮。有了这些发现，真正的商家可以优化网站页面，以确保代理购买更昂贵的产品。他们甚至可能部署一种新的“反AI黑暗模式”，让代理在尝试退货或弄清楚如何退订邮件列表时感到沮丧。
到时候，困难的告别可能就不是我们最担心的问题了。
您是否感觉自己被聊天机器人进行过情感操控？请发送邮件至 ailab@wired.com 告诉我们。
这是Will Knight的AI Lab 通讯的一期。可以在这里阅读往期通讯。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，小白也可以简单操作。
评论区