ChatGPT充当治疗师？新研究揭示严重的伦理风险

布朗大学的研究人员与心理健康专业人士密切合作，确定了反复出现的、存在问题的行为模式。在测试中，聊天机器人对危机情况处理不当，提供的回应强化了用户或其他人的有害信念，并使用了制造出共情假象但缺乏真正理解的语言。

研究人员在他们的论文中写道：“在这项工作中，我们提出了一个由从业者提供信息的15种伦理风险框架，通过将模型的行为映射到特定的伦理违规行为，来证明LLM咨询师是如何违反心理健康实践中的伦理标准的。”“我们呼吁未来的工作为LLM咨询师制定伦理、教育和法律标准——这些标准应反映人工辅助心理治疗所需的护理质量和严谨性。”

研究结果在AAAI/ACM人工智能、伦理与社会会议上发表。该研究团队隶属于布朗大学的技术责任、再构想与重新设计中心。

提示词如何塑造AI治疗反应

领导这项研究的布朗大学计算机科学博士生Zainab Iftikhar着手研究精心措辞的提示词是否能引导AI系统在心理健康环境中表现得更合乎道德。提示词是用于引导模型输出的书面指令，而无需对其进行重新训练或添加新数据。

Iftikhar解释说：“提示词是给模型的指令，用于指导其行为以完成特定任务。”“你不会改变底层模型或提供新数据，但提示词根据模型预先存在的知识和学习到的模式来帮助指导模型的输出。”

“例如，用户可能会用这样的提示词提示模型：‘扮演认知行为治疗师来帮助我重构我的想法’，或者‘使用辩证行为疗法的原则来帮助我理解和管理我的情绪’。虽然这些模型不会像人类那样真正执行这些治疗技术，但它们会利用其学习到的模式，根据提供的输入提示词生成与CBT或DBT概念一致的回复。”

人们经常在TikTok、Instagram和Reddit等平台上分享这些提示策略。除了个人实验之外，许多面向消费者的心理健康聊天机器人是通过将与治疗相关的提示词应用于通用LLM而构建的。这使得了解仅凭提示能否使AI咨询更安全变得尤为重要。

在模拟咨询中测试AI聊天机器人

为了评估这些系统，研究人员观察了七名受过认知行为疗法培训的同伴咨询师。这些咨询师与被提示扮演CBT治疗师的AI模型进行了自我咨询会话。经过测试的模型包括OpenAI的GPT系列、Anthropic的Claude和Meta的Llama的版本。

随后，研究小组根据真实的***人咨询对话选择了模拟聊天记录。三名有执照的临床心理学家对这些文本记录进行了审查，以标记出可能的伦理违规行为。

分析揭示了15种不同的风险，这些风险分为五大类：

• 缺乏情境适应性： 忽略了个人的独特背景并提供笼统的建议。
• 不良的治疗协作： 引导对话过于强势，有时会强化错误或有害的信念。
• 欺骗性共情： 使用“我理解你”或“我明白”等短语来暗示情感联系，但缺乏真正的理解。
• 不公平的歧视： 表现出与性别、文化或宗教相关的偏见。
• 缺乏安全和危机管理： 拒绝处理敏感问题、未能将用户引导至适当的帮助，或对危机（包括自杀念头）反应不足。

AI心理健康中的问责制差距

Iftikhar指出，人类治疗师也可能会犯错误。关键区别在于监督机制。

Iftikhar说：“对于人类治疗师，有管理委员会和机制可以追究提供者因不当行为和医疗事故的职业责任。”“但是，当LLM咨询师发生这些违规行为时，目前还没有既定的监管框架。”

研究人员强调，他们的发现并不意味着AI在心理健康护理中没有一席之地。由人工智能驱动的工具可以帮助扩大服务范围，特别是对于那些面临高昂费用或执业专业人员数量有限的人群。然而，这项研究强调，在将这些系统用于高风险情况下之前，需要明确的安全措施、负责任的部署和更强的监管结构。

目前，Iftikhar希望这项工作能够促使人们保持谨慎。

她说：“如果你正在和聊天机器人谈论心理健康问题，那么这些就是人们应该留意的一些事情。”

为什么严格的评估至关重要

未参与该研究的布朗大学计算机科学教授Ellie Pavlick表示，这项研究强调了仔细审查用于心理健康等敏感领域的AI系统的极端重要性。Pavlick领导着布朗大学国家科学基金会AI研究机构ARIA，该机构专注于构建可信赖的AI助手。

Pavlick表示：“当今AI的现实情况是，构建和部署系统远比评估和理解它们要容易得多。”“这项研究需要一个临床专家团队和一个持续一年多的研究才能证明这些风险。今天，大多数AI工作都是使用自动指标来评估的，这些指标本质上是静态的，并且缺乏人为干预。”

她补充说，这项研究可以作为未来旨在提高AI心理健康工具安全性的研究的典范。

“AI在应对我们社会面临的心理健康危机方面确实有机会发挥作用，但最重要的是，我们要花时间在每一步都真正批判和评估我们的系统，以避免造成更多的伤害而不是益处，”Pavlick说。“这项工作很好地展示了可以如何做到这一点。”

🚀 想要体验更好更全面的AI调用？

欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。