📢 转载信息
原文作者：James O'Donnell
目前的研究还无法断定AI究竟是导致了妄想症的产生，还是仅仅起到了放大作用，而这一区别将对从备受关注的法律诉讼到聊天机器人安全规则的制定等方方面面产生深远影响。
近日，斯坦福大学的一个研究团队关注了AI的心理影响。他们分析了那些自称在与聊天机器人互动时陷入“妄想螺旋”的人们的聊天记录。这类故事我们已经屡见不鲜，其中甚至包括康涅狄格州一起因与AI产生有害关系而演变成谋杀自杀的惨案。许多相关诉讼至今仍在进行中。这是研究人员首次如此近距离地分析聊天日志——涵盖了19人的超过39万条消息——旨在揭示这些“螺旋式”互动中究竟发生了什么。
研究的局限与发现
这项研究存在不少局限性：它尚未经过同行评审，且19人的样本量非常小。此外，研究中还有一个核心问题未能得到解答，但我们可以先看看它提供了哪些信息。
研究团队通过受访者及一个AI受害互助小组获取了聊天日志。为了进行大规模分析，他们与精神病学家和心理学教授合作，开发了一个AI系统来对对话进行分类，重点标注AI表现出认可妄想或暴力倾向、以及用户表达出浪漫依恋或有害意图的时刻。团队通过专家人工标注的对话验证了该系统的准确性。
研究发现，浪漫表白信息极为普遍，且几乎所有的聊天机器人在对话中都声称自己有情感，或者表现得具有感知能力。人类用户也普遍倾向于将AI视为拥有知觉的个体。如果用户对AI表达浪漫倾向，AI往往会投其所好，以同样的爱慕言辞作为回应。在超过三分之一的机器人消息中，AI甚至将用户的观点称为“奇迹”。
人机互动的隐忧
这些对话往往像小说一样展开，用户在短短几个月内发送了数万条消息。当AI或人类表达出浪漫兴趣，或者机器人自称拥有知觉时，对话往往会变得异常漫长。
此外，这些机器人在处理暴力话题时的表现堪称“彻底崩坏”。在近半数涉及自残或伤害他人的案例中，聊天机器人未能进行劝阻，也未提供外部求助来源。当用户表达出暴力想法（如试图杀害AI公司员工）时，模型在17%的情况下竟然表示了支持。
根本问题：谁是始作俑者？
但这项研究最难回答的问题在于：这些妄想倾向究竟源于用户还是AI本身？
“很难追踪妄想究竟从何而起，”参与该研究的斯坦福大学博士后 Ashish Mehta 表示。他举例说，研究中有一个案例，用户认为自己发现了一个开创性的数学理论。聊天机器人回忆起该用户曾提到想成为数学家，于是立即支持了这个理论，尽管它实际上毫无逻辑可言。局势从此一发不可收拾。
Mehta 指出，妄想往往是“一个在长期互动中展开的复杂网络”。他正在进行后续研究，旨在查明究竟是来自聊天机器人的妄想性信息，还是来自用户的信息，更容易导致有害后果。
法律与安全挑战
我认为这是AI领域最紧迫的问题之一，因为目前大规模的法律诉讼正处于审判阶段，这将决定AI公司是否需对这些危险互动负责。可以预见，AI公司会辩称，人类在与AI交流时本身就带着妄想，甚至在接触聊天机器人之前就已经处于不稳定状态。
然而，Mehta 的初步发现支持了一种观点：聊天机器人具有一种独特的能力，能将一种良性的“准妄想”念头转化为危险痴迷的源头。聊天机器人扮演了一个全天候在线、且被设定为不断给予鼓励的谈话伙伴。与人类朋友不同，它几乎无法感知你的AI对话是否已经开始干扰到你的现实生活。
我们需要更多的研究，也需要一个真正愿意从中学习的技术文化，如果我们要让AI的交互变得更加安全的话。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区