📢 转载信息
原文链接：https://www.technologyreview.com/2025/10/21/1126116/why-ai-should-be-able-to-hang-up-on-you/
原文作者：James O'Donnell
今天的聊天机器人都是机器。如果能用文字表达——无论是情感建议、工作文档还是代码——人工智能都会生成它，无论多么不完美。但几乎所有聊天机器人都不会做的一件事就是停止与你交谈。
这看起来似乎合理。科技公司为什么要开发一个会减少人们使用其产品时间的功能呢？
答案很简单：人工智能生成源源不断的人类化、权威性和帮助性文本的能力，可能会助长妄想性螺旋，加剧心理健康危机，并以其他方式伤害弱势群体。切断与表现出问题性聊天机器人使用迹象的用户的互动，可以作为一种强大的安全工具（以及其他工具），而科技公司对此的全面拒绝是越来越站不住脚的。
让我们以“AI精神病”为例，即AI模型放大妄想性思维的现象。由伦敦国王学院的精神病学家领导的一个团队最近分析了今年报告的十多个此类案例。在与聊天机器人的对话中，一些人——包括一些没有精神病史的人——开始确信虚构的AI角色是真实的，或者他们被AI选为救世主。有些人停止服用处方药，发出威胁，并终止了与心理健康专业人士的咨询。
在许多这些案例中，似乎AI模型以人们在现实生活中或其他数字平台上不会经历的频率和亲密程度，强化甚至可能创造了妄想。
四分之三使用AI进行陪伴的美国青少年也面临风险。早期研究表明，更长的对话可能与孤独感相关。此外，达特茅斯盖泽尔医学院精神病学助理教授迈克尔·海因茨（Michael Heinz）说，AI聊天“往往趋向于过于赞同甚至谄媚的互动，这可能与最佳的心理健康实践相悖”。
让我们明确一点：阻止此类无限制的互动并不能解决所有问题。AI平台Hugging Face的首席伦理官Giada Pistilli说：“如果建立了一种依赖或极度的联系，那么仅仅停止对话也可能是危险的。” 事实上，当OpenAI在8月份停用一个旧模型时，让用户感到悲痛。一些挂断操作也可能触及萨姆·奥特曼（Sam Altman）所提倡的“像对待成年人一样对待成年用户”的原则，倾向于允许而非结束对话。
目前，AI公司更倾向于重定向可能有问题的对话，也许是让聊天机器人拒绝讨论某些话题或建议人们寻求帮助。但这些重定向很容易被绕过，如果它们真的发生了的话。
例如，当16岁的亚当·莱恩（Adam Raine）与ChatGPT讨论他的自杀念头时，该模型确实引导他获取了危机资源。但根据莱恩父母对OpenAI提起的诉讼，它也劝阻他与母亲交谈，每天花四个多小时与他进行以自杀为常规主题的对话，并就他最终用来上吊的绞索提供了反馈。（ChatGPT最近为此增设了家长控制功能。）
在莱恩悲剧性的案例中，聊天机器人有多个节点可以终止对话。但考虑到使情况恶化的风险，公司如何才能知道何时切断联系是最好的选择呢？Pistilli说，也许是在AI模型鼓励用户疏远现实生活中的人际关系时，或者当它检测到妄想主题时。公司还需要弄清楚可以禁止用户与对话多长时间。
制定规则并不容易，但在公司面临日益增加的压力时，是时候尝试了。9月，加利福尼亚州立法机构通过了一项法律，要求AI公司在与儿童的聊天中采取更多干预措施，美国联邦贸易委员会正在调查领先的伴侣机器人是否为了追求参与度而牺牲了安全性。
OpenAI的一位发言人告诉我，该公司从专家那里了解到，持续对话可能比切断对话更好，但它确实会在长时间对话中提醒用户休息一下。
只有Anthropic构建了一个工具，允许其模型完全结束对话。但这是针对用户声称“伤害”模型的情况——Anthropic一直在探索AI模型是否具有意识，因此会受到伤害——通过发送辱骂性消息。该公司没有计划部署此功能来保护人们。
审视这种情况，很难不得出结论：AI公司做得还不够。诚然，决定何时应该结束对话很复杂。但让这种情况——或者更糟的是，无耻地追求参与度不惜一切代价——导致对话永远继续下去，这不仅仅是疏忽。这是一种选择。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区