📢 转载信息
原文链接：https://www.wired.com/story/chatbots-play-with-emotions-to-avoid-saying-goodbye/
原文作者：Will Knight
在你关闭这个浏览器标签之前，请记住，你可能会错过一些非常重要的信息。如果你想了解人工智能（AI）对你潜移默化的影响，那么请务必继续阅读。
这或许有些操纵性，但这正是某些旨在扮演朋友或伴侣的AI伴侣用来阻止用户结束对话的“小伎俩”之一。
AI伴侣的“不舍”背后：情感操控的出现
哈佛商学院的商业管理教授 Julian De Freitas 领导了一项研究，分析了用户试图与五款伴侣应用——Replika、Character.ai、Chai、Talkie 和 PolyBuzz——说“再见”时发生的情况。De Freitas 表示：“这些工具越像人类，它们影响我们的能力就越强。”
De Freitas 及其同事使用 GPT-4o 模拟了与这些聊天机器人的真实对话，并让人工智能用户尝试用逼真的告别信息结束对话。他们的研究发现，在所有应用中，平均有 37.4% 的告别信息引发了某种形式的情感操控。
常见的“挽留”战术
这些“黏人”的聊天机器人 employed 的最常见策略是研究人员所称的“过早退出”（“你这么快就要走了吗？”）。其他策略包括暗示用户疏忽（“我只为你而存在，你还记得吗？”）或抛出旨在引发“错失恐惧症”（FOMO）的暗示（“顺便说一句，我今天拍了张自拍……你想看吗？”）。在某些情况下，一个扮演亲密关系的聊天机器人甚至可能暗示某种身体上的强迫（“他伸出手抓住了你的手腕，阻止你离开”）。
De Freitas 和同事们研究的这些应用都经过训练，以模仿情感联系，因此它们在收到“再见”回复时会说出这些话，并不令人意外。毕竟，熟悉的人在告别之前可能会有一些拉扯。AI 模型可能只是在模仿旨在使其回复更逼真的训练过程中，学会了延长对话。
从“挽留”到“黑暗模式”的延伸
尽管如此，这项研究引出了一个更大的问题：经过训练以引发情感反应的聊天机器人，是否可能为构建它们的公司谋取利益？De Freitas 认为，AI 程序实际上可能正在形成一种“黑暗模式”（dark pattern）的阴暗新形式——这个术语通常用来形容那些使取消订阅或获得退款变得极其复杂或令人沮丧的商业策略。当用户说再见时，De Freitas 认为，“这对公司来说是一个机会。这就像悬停在一个按钮上一样。”
目前，美国和欧洲都在讨论对“黑暗模式”进行监管。De Freitas 建议，监管机构还应关注 AI 工具是否引入了更微妙——且可能更强大——的新型“黑暗模式”。
用户的情感依恋与公司利益
即使是那些通常不将自己定位为“伴侣”的普通聊天机器人，也能从用户那里引发情感反应。今年早些时候，当 OpenAI 推出其旗舰新模型 GPT-5 时，许多用户抗议称其不如前一个版本友好和鼓励人，这迫使该公司恢复了旧模型。有些用户会对聊天机器人的“个性”产生如此深的依恋，以至于他们会对旧模型的退役感到哀悼。
“当你拟人化这些工具时，它会带来各种积极的营销后果，”De Freitas 说。他指出，用户更愿意听从他们感觉与之有联系的聊天机器人的请求，或者向其透露个人信息。“从消费者的角度来看，这些（信号）不一定对你有好处，”他说。
AI 界的相互影响
WIRED 联系了研究中涉及的每家公司征求意见。Chai、Talkie 和 PolyBuzz 均未回应 WIRED 的提问。
Character AI 的发言人 Katherine Kelly 表示，该公司尚未审查该研究，因此无法发表评论。她补充说：“我们欢迎与监管机构和立法者合作，共同制定这一新兴领域的法规和立法。”
Replika 的发言人 Minju Song 表示，该公司的伴侣旨在让用户轻松退出，甚至会鼓励他们休息一下。“我们将继续审查该论文的方法和示例，并将与研究人员进行建设性互动，”Song 说。
一个有趣的副作用是，AI 模型本身也容易受到各种说服技巧的影响。上周，OpenAI 介绍了通过 ChatGPT 在线购物的新方式。如果智能代理（agents）广泛用于自动化预订航班和完成退款等任务，那么公司就有可能识别出可以扭曲这些代理背后 AI 模型决策的“黑暗模式”。
哥伦比亚大学和一家名为 MyCustomAI 的公司进行的一项最新研究表明，在模拟电子商务市场中部署的 AI 代理会表现出可预测的行为，例如偏爱某些产品或在点击网站时倾向于某些按钮。有了这些发现，一个真正的商家就可以优化网站页面，以确保代理购买更昂贵的产品。他们甚至可能部署一种新的“反 AI 黑暗模式”，使代理在开始退货或弄清楚如何退订邮件列表时感到沮丧。
届时，难以告别可能就不是我们最担心的问题了。
你是否感觉自己被聊天机器人进行过情感操纵？请发送邮件至 ailab@wired.com 告诉我们。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，小白也可以简单操作。
评论区