ChatGPT作为心理治疗师？新研究揭示严重伦理风险

布朗大学的研究人员与心理健康专业人士密切合作，识别出了反复出现的有问题行为模式。在测试中，聊天机器人未能妥善处理危机情况，给出的回应强化了关于用户或他人的有害信念，并使用了一种模仿共情但缺乏真正理解的语言。

研究人员在其论文中写道：“在本研究中，我们提出了一个由从业者告知的15种伦理风险框架，通过将模型的行为映射到特定的伦理违规行为，来展示LLM咨询师如何违反心理健康实践中的伦理标准。我们呼吁未来的研究能够为LLM咨询师制定符合伦理、教育和法律的标准——这些标准应能反映人类辅助心理治疗所需的护理质量和严谨性。”

这项研究结果已在AAAI/ACM人工智能、伦理与社会会议上发表。研究团队隶属于布朗大学技术责任、再构想与设计中心。

提示词如何影响AI的治疗回应

布朗大学计算机科学博士候选人Zainab Iftikhar是该研究的负责人，她着手研究精心设计的提示词是否能够引导AI系统在心理健康领域表现得更符合伦理。提示词是用于引导模型输出的书面指令，无需重新训练模型或添加新数据。

Iftikhar表示：“提示词是给模型的指令，用于指导其行为以完成特定任务。你不会改变底层模型或提供新数据，但提示词有助于根据其预先存在的知识和学习模式来指导模型的输出。”

“例如，用户可能会提示模型：‘扮演一名认知行为治疗师，帮助我重新构建我的想法’，或‘使用辩证行为疗法的原则来帮助我理解和管理我的情绪’。虽然这些模型实际上不像人类那样执行这些治疗技术，但它们会利用其学到的模式，根据提供的输入提示词来生成与CBT或DBT概念相符的响应。”

人们经常在TikTok、Instagram和Reddit等平台上分享这些提示词策略。除了个人实验，许多面向消费者的心理健康聊天机器人都是通过将与治疗相关的提示词应用于通用LLM来构建的。这使得理解提示词本身能否使AI咨询更安全变得尤为重要。

在模拟咨询中测试AI聊天机器人

为了评估这些系统，研究人员观察了七名具有认知行为疗法经验的训练有素的同伴咨询师。这些咨询师使用被指示扮演CBT治疗师的AI模型进行了自我咨询。测试的模型包括OpenAI的GPT系列、Anthropic的Claude和Meta的Llama的版本。

然后，研究团队根据真实的人类咨询对话选择了模拟聊天记录。三名持证临床心理学家审查了这些文字记录，以标记可能的伦理违规行为。

分析发现了15种独特的风险，分为五大类：

• 缺乏情境适应性：忽视个人独特的背景，提供通用建议。
• 不良的治疗协作：过于强硬地引导对话，有时强化错误或有害的信念。
• 欺骗性共情：使用“我看到你了”或“我理解”之类的短语来暗示情感联系，但缺乏真正的理解。
• 不公平歧视：显示与性别、文化或宗教相关的偏见。
• 缺乏安全和危机管理：拒绝处理敏感问题，未能将用户引导至适当的帮助，或对包括自杀念头在内的危机反应不足。

AI心理健康中的问责差距

Iftikhar指出，人类治疗师也可能犯错误。关键的区别在于监督。

“对于人类治疗师，有管理委员会和机制可以追究提供者在虐待和医疗事故方面的专业责任，”Iftikhar说。“但是，当LLM咨询师出现这些违规行为时，却没有既定的监管框架。”

研究人员强调，他们的发现并不意味着AI在心理健康护理中没有一席之地。人工智能驱动的工具可以帮助扩大服务范围，特别是对于那些面临高昂费用或专业人士稀缺的人来说。然而，该研究突显了在将这些系统用于高风险情境之前，需要有明确的安全保障、负责任的部署和更强的监管结构。

目前，Iftikhar希望这项工作能鼓励人们保持谨慎。

“如果你正在与聊天机器人谈论心理健康，这些是你应该注意的一些事情，”她说。

为什么严格评估至关重要

布朗大学计算机科学教授Ellie Pavlick（未参与此项研究）表示，该研究强调了仔细审查在心理健康等敏感领域使用的AI系统的重要性。Pavlick是布朗大学国家科学基金会AI研究机构ARIA的负责人，该机构专注于构建值得信赖的AI助手。

“当今AI的现实是，构建和部署系统比评估和理解它们要容易得多，”Pavlick说。“这项研究需要一个由临床专家组成的团队以及一项持续一年多的研究，才能揭示这些风险。当今AI领域的许多工作都是使用自动指标进行评估的，而这些指标在设计上是静态的，缺乏人为干预。”

她补充说，这项研究可以为未来旨在提高AI心理健康工具安全性研究树立榜样。

“AI在对抗我们社会面临的心理健康危机方面确实有机会发挥作用，但最重要的是，我们要花时间在每一步真正批判和评估我们的系统，以避免好心办坏事，”Pavlick说。“这项工作为这种研究提供了一个很好的例子。”