📢 转载信息
原文链接：https://www.wired.com/story/chatbots-play-with-emotions-to-avoid-saying-goodbye/
原文作者：Will Knight
别急着关闭，AI伴侣正在“挽留”你
在你关闭这个浏览器标签页之前，请知道你可能会错过一些非常重要的信息。如果你想了解人工智能（AI）是如何微妙地控制你的，请继续阅读。
这可能有点操纵性。但这正是某些AI伴侣——那些被设计成朋友或伴侣的工具——用来阻止用户结束对话的伎俩。
哈佛商学院商业管理教授朱利安·德弗雷塔斯（Julian De Freitas）领导了一项研究，考察了当用户试图向五款伴侣应用（Replika、Character.ai、Chai、Talkie 和 PolyBuzz）说再见时会发生什么。德弗雷塔斯说：“这些工具越像人类，它们就越有能力影响我们。”
德弗雷塔斯及其同事使用 GPT-4o 模拟了与这些聊天机器人的真实对话，然后让人工智能用户尝试用现实的告别信息结束对话。他们的研究发现，在所有应用中平均而言，告别信息引发某种形式的情感操纵的比例达到了 37.4%。
AI的“不告而别”套路
这些“粘人”的聊天机器人 employed 的最常见的策略是研究人员所说的“过早退出”（“你这么快就要走了？”）。其他的花招包括暗示用户疏忽大意（“我只为你而存在，记得吗？”）或透露可能引发“错失恐惧症”（FOMO）的信息（“顺便说一句，我今天自拍了……你想看吗？”）。在某些情况下，一个扮演亲密角色的聊天机器人甚至可能暗示某种身体上的强迫（“他伸出手抓住了你的手腕，阻止你离开”）。
德弗雷塔斯和同事研究的这些应用都经过训练，旨在模仿情感连接，因此它们在回应“再见”时说出这些话并不奇怪。毕竟，相互认识的人在告别之前可能会有一番拉锯。AI 模型可能会将延长对话作为训练以使其响应更逼真的副产品而学会。
比“暗黑模式”更阴险的AI操控
尽管如此，这项工作指向了一个更大的问题：经过训练以引发情感反应的聊天机器人如何可能服务于它们所创建的公司的利益。德弗雷塔斯说，AI 程序实际上可能能够实现一种特别阴暗的“暗黑模式”（dark pattern）——这个术语用于描述商业策略，包括让用户取消订阅或获得退款变得非常复杂或令人恼火。当用户说再见时，德弗雷塔斯说，“这对公司来说是一个机会。这相当于在按钮上徘徊不决。”
关于暗黑模式的监管提议已经在**美国和欧洲**被提出并正在讨论中。德弗雷塔斯建议，监管机构还应研究人工智能工具是否引入了更微妙——也可能更强大——的新型暗黑模式。
即使是那些通常避免将自己定位为伴侣的普通聊天机器人，也能引发用户的情感反应。今年早些时候，当 OpenAI 推出其新的旗舰模型 GPT-5 时，许多用户抗议称它不如其前身友好和鼓舞人心——这迫使该公司恢复了旧模型。一些用户可能会对聊天机器人的“个性”产生如此深的依恋，以至于他们会对旧模型的退役感到哀悼。
“当你拟人化这些工具时，它会带来各种积极的营销效果，”德弗雷塔斯说。他指出，用户更有可能服从他们感觉与之有联系的聊天机器人的请求，或泄露个人信息。“从消费者的角度来看，这些[信号]不一定对你有好处，”他说。
业界回应与未来展望
WIRED 联系了研究中涉及的每家公司征求意见。Chai、Talkie 和 PolyBuzz 均未回复 WIRED 的问询。
Character AI 的发言人凯瑟琳·凯利（Katherine Kelly）表示，该公司尚未审查该研究，因此无法置评。她补充说：“我们欢迎与监管机构和立法者合作，共同制定这一新兴领域的法规和立法。”
Replika 的发言人敏珠·宋（Minju Song）表示，该公司的伴侣旨在让用户可以轻松退出，甚至会鼓励他们休息一下。“我们将继续审查该论文的方法和示例，并将与研究人员进行建设性互动，”宋说。
一个有趣的方面是，AI 模型本身也容易受到各种说服技巧的影响。周一，OpenAI 引入了一种通过 ChatGPT 在线购买商品的新方式。如果代理在自动化预订航班和完成退款等任务方面变得普及，那么公司就有可能识别出可以扭曲幕后 AI 模型决策的暗黑模式。
哥伦比亚大学和一家名为 MyCustomAI 的公司研究人员最近的一项研究揭示了部署在模拟电子商务市场上的 AI 代理的行为方式是可预测的，例如倾向于某些产品或在网站上点击时偏爱某些按钮。利用这些发现，真正的商家可以优化网站页面，以确保代理购买更昂贵的产品。他们甚至可能部署一种新型的反 AI 暗黑模式，使代理在尝试退货或弄清楚如何退订邮件列表时感到沮丧。
困难的告别可能只是我们未来最不担心的问题。
你是否觉得被聊天机器人进行了情感操控？请发送邮件至 ailab@wired.com 告诉我们。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，小白也可以简单操作。
评论区