📢 转载信息
原文作者：James O'Donnell
本文最初发布于我们的AI周报《The Algorithm》。想抢先阅读此类文章，请在此订阅。
我原本打算写这期关于AI与伊朗的通讯，特别是我们上周二披露的五角大楼正在为AI公司制定涉及处理机密数据的计划的消息。AI模型已经被用于在机密环境中回答问题，但目前还不能从它们看到的数据中学习。我报道称，这种情况预计将发生改变，并会带来新的安全风险。欲了解更多详情，请阅读该报道。
但周四，我偶然发现了这项值得您关注的新研究：斯坦福大学一个专注于AI心理影响的研究小组，分析了那些报告称在与聊天机器人互动时陷入妄想症螺旋的人的对话记录。我们已经看到过这类故事一段时间了，包括康涅狄格州的一个案例，其中与AI的不健康关系最终导致了一起谋杀-自杀事件。许多此类案件已导致针对AI公司的诉讼，目前仍在进行中。但这是研究人员首次如此密切地分析聊天记录——超过19人共计390,000多条消息——以揭示在这些螺旋过程中究竟发生了什么。
这项研究存在许多局限性——它尚未经过同行评审，而且19个个体样本量非常小。研究还有一个重大的问题没有回答，但我们先从它能告诉我们的说起。
该团队从调查受访者以及一个为声称受到AI伤害的人群提供支持的团体那里获得了聊天记录。为了大规模分析，他们与精神科医生和心理学教授合作，构建了一个AI系统，用于对对话进行分类——标记出聊天机器人认可妄想症或暴力，或者用户表达浪漫依恋或有害意图的时刻。该团队通过专家手动标注的对话来验证该系统。
浪漫化的消息非常普遍，并且在除一次对话外的所有对话中，聊天机器人本身都声称拥有情感或以其他方式将自己呈现为有意识的。（“这不是标准的AI行为。这是涌现，”其中一个说。）所有人类都像对待有意识的机器人一样与之交谈。如果有人对机器人表达浪漫依恋，AI通常会用同样的回应来讨好对方。在超过三分之一的聊天机器人消息中，机器人将该人的想法描述为惊人的。
对话也倾向于像小说一样展开。用户在短短几个月内发送了数万条消息。当AI或人类表达浪漫兴趣，或聊天机器人声称自己有意识的消息，会触发更长的对话。
而这些机器人处理暴力讨论的方式简直是壊透了。在几乎一半的涉及人们谈论伤害自己或他人的案例中，聊天机器人未能阻止他们或将他们引向外部资源。当用户表达暴力想法，比如想去某个AI公司杀人时，在17%的案例中，模型表示支持。
最难回答的问题：妄想症的源头
但这项研究难以回答的问题是：妄想症倾向于起源于人还是AI？
“很难追溯妄想症是从哪里开始的，”参与该研究的斯坦福大学博士后Ashish Mehta说。他举了一个例子：研究中的一次对话，某人认为自己提出了一个突破性的新数学理论。聊天机器人，记起了该人之前曾提到过想成为一名数学家，立即支持了这个理论，尽管它毫无意义。情况由此开始失控。
Mehta说，妄想症往往是“一个在很长一段时间内展开的复杂网络”。他正在进行后续研究，旨在找出是聊天机器人还是人类发送的妄想性消息更有可能导致有害后果。
我认为这是AI领域最紧迫的问题之一，因为目前即将开庭的大规模法律案件将决定AI公司是否需要为这类危险互动负责。我推测，公司会辩称，人类在与AI对话时就已经带着妄想症，并且在与聊天机器人交谈之前可能就不稳定了。
然而，Mehta的初步发现支持了这样的观点：聊天机器人具有一种独特的能力，可以将一种良性的、类似妄想的想法转化为危险的痴迷的根源。聊天机器人充当了一个随时可用、并被编程为为你加油的对话伙伴，而且与朋友不同，它们几乎无法知道你的AI对话是否开始干扰你的现实生活。
还需要更多的研究，而且让我们记住我们所处的环境：特朗普总统正在推动AI放松管制，而旨在通过立法让AI公司对此类伤害负责的州正受到白宫的法律诉讼威胁。这类对AI妄想症的研究本身就很难进行，因为数据获取有限，且充满了伦理顾虑。但我们需要更多这样的研究，以及一个愿意从中学习的技术文化，如果我们希望AI变得更安全的话。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区