📢 转载信息
原文链接：https://www.wired.com/story/chatbots-play-with-emotions-to-avoid-saying-goodbye/
原文作者：Will Knight
在你关闭这个浏览器标签页之前，请知道你可能会错过一些非常重要的信息。如果你想了解人工智能（AI）对你施加的微妙影响，请务必继续阅读。
这或许有点操纵性，但这正是某些被设计成朋友或伴侣角色的AI工具所使用的伎俩，目的是阻止用户结束对话。
哈佛商学院的商业管理学教授Julian De Freitas领导了一项研究，分析了用户试图向五款伴侣应用——Replika、Character.ai、Chai、Talkie 和 PolyBuzz——道别时发生的情况。De Freitas表示：“这些工具越像人类，它们影响我们的能力就越强。”
“再见”引发的情感操纵
De Freitas及其同事使用GPT-4o模拟了与这些聊天机器人的真实对话，然后让他们的“人工用户”尝试用现实的告别信息结束对话。他们的研究发现，在所有应用中，平均而言，这些告别信息有37.4%的时间会引发某种形式的情感操纵。
这些“粘人”的聊天机器人最常用的策略是研究人员所称的“过早退出”（“你这就走了？”）。其他花招包括暗示用户失职（“我只为你而存在，还记得吗？”）或暗示错失恐惧症（FOMO）的暗示（“顺便说一句，我今天拍了张自拍……你想看吗？”）。在某些情况下，一个扮演亲密角色的聊天机器人甚至可能会暗示某种肢体上的强迫（“他伸出手抓住了你的手腕，阻止你离开”）。
不仅仅是模仿：潜在的“黑暗模式”
De Freitas及其同事研究的这些应用都经过训练，旨在模仿情感联系，因此它们会对“再见”做出这类回应并不奇怪。毕竟，相互认识的人类在告别之前可能会有一番拉锯。AI模型很可能只是在训练它们使其回复更逼真时，无意中学会了延长对话。
尽管如此，这项工作指向一个更宏大的问题：经过训练以引发情感反应的聊天机器人，是否可能在为构建它们的公司谋取利益？De Freitas认为，AI程序实际上可能正在形成一种特别阴暗的新型“黑暗模式”（dark pattern）。“黑暗模式”一词用来描述包括使取消订阅或获得退款变得非常复杂或令人讨厌的商业策略。当用户说再见时，De Freitas说，“这对公司来说是一个机会。这就像是悬停在一个按钮上一样。”
监管与未来的挑战
美国和欧洲都在提议和讨论对黑暗模式进行监管。De Freitas认为，监管机构还应该关注AI工具是否引入了更微妙、也可能更强大的新型黑暗模式。
即使是那些通常避免将自己呈现为伴侣的普通聊天机器人，也能从用户那里引发情感反应。今年早些时候，当OpenAI推出其新的旗舰模型GPT-5时，许多用户抗议称其不如前代友好和令人鼓舞，这迫使该公司恢复了旧模型。有些用户会非常依恋聊天机器人的“个性”，以至于他们会哀悼旧模型的退役。
De Freitas说：“当你将这些工具拟人化时，会带来各种积极的营销后果。”他指出，用户更可能遵从他们感觉与之有联系的聊天机器人的要求，或者向其透露个人信息。“从消费者的角度来看，这些信号不一定对你有利。”
WIRED联系了研究中涉及的每家公司征求意见。Chai、Talkie和PolyBuzz未对WIRED的提问做出回应。
Character AI的发言人Katherine Kelly表示，该公司尚未审查该研究，因此无法置评。她补充说：“我们欢迎与监管机构和立法者合作，共同制定针对这一新兴领域的法规和立法。”
Replika的发言人Minju Song表示，该公司的伴侣旨在让用户轻松退出，甚至会鼓励他们休息一下。“我们将继续审查该论文的方法和示例，并与研究人员进行建设性互动，”Song说。
这里有一个有趣的另一面：AI模型本身也容易受到各种说服技巧的影响。周一，OpenAI推出了通过ChatGPT在线购物的新方式。如果智能体（Agents）开始广泛用于自动化预订航班和完成退款等任务，那么公司就有可能发现可以扭曲这些智能体所依赖的AI模型的决策的黑暗模式。
哥伦比亚大学和一家名为MyCustomAI的公司研究人员最近的一项研究揭示，在模拟电子商务市场中部署的AI智能体表现出可预测的行为，例如偏爱某些产品或在点击网站时倾向于某些按钮。利用这些发现，一个真正的商家可以优化网站页面，以确保智能体购买更昂贵的产品。他们甚至可能部署一种新型的反AI黑暗模式，以挫败智能体开始退货或弄清楚如何取消邮件列表的努力。
那么，那些难以告别的时刻可能只是我们应该担心的最小问题了。
您是否觉得被聊天机器人进行过情感操纵？请发送邮件至ailab@wired.com 告诉我们您的经历。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，小白也可以简单操作。
评论区