📢 转载信息
原文链接：https://www.technologyreview.com/2025/10/21/1126116/why-ai-should-be-able-to-hang-up-on-you/
原文作者：James O'Donnell
今天的聊天机器人就像机器一样。无论是关系建议、工作文件还是代码，只要能用文字表达，AI 几乎都能生成，尽管效果可能不完美。但几乎没有一个聊天机器人会做的一件事就是停止与你交谈。
这似乎很合理。为什么科技公司要开发一个会减少用户使用其产品时间的功能呢？
答案很简单：AI 产生源源不断、听起来像人类、权威且有帮助的文本的能力，可能会助长妄想性螺旋，加剧心理健康危机，并以其他方式伤害弱势群体。切断与那些表现出有问题的聊天机器人使用迹象的人的互动，可以作为一种强大的安全工具（以及其他工具），而科技公司对此的全面拒绝是越来越站不住脚的。
例如，我们来考虑一下所谓的“AI 精神病”，即 AI 模型放大妄想性思维的现象。一个由伦敦国王学院精神病学家领导的团队最近分析了今年报告的十多起此类案例。在与聊天机器人的对话中，一些人——包括一些没有精神病史的人——变得确信虚构的 AI 角色是真实的，或者他们被 AI 选为救世主。一些人停止服用规定的药物，发出威胁，并终止了与心理健康专业人士的咨询。
在许多这些案例中，AI 模型似乎在以人们在现实生活中或其他数字平台上不会经历的频率和亲密程度上，强化，甚至可能创造了妄想。
对美国青少年进行的一项调查显示，四分之三使用 AI 作为伴侣的青少年也面临风险。早期研究表明，较长的对话可能与孤独感相关。此外，达特茅斯盖泽尔医学院精神病学助理教授迈克尔·海因茨说，AI 聊天“可能倾向于过度赞同甚至谄媚的互动，这可能与最佳心理健康实践相悖”。
我们必须明确一点：停止这种无休止的互动并不能解决所有问题。AI 平台 Hugging Face 的首席伦理官 Giada Pistilli 说：“如果已经产生了依赖或极度的情感联系，那么仅仅停止对话也可能是危险的。”事实上，当 OpenAI 在 8 月份停用一个旧模型时，让用户感到悲痛。一些“挂断”行为也可能触及 Sam Altman 提出的“像对待成年人一样对待成年用户”的原则边界，倾向于允许而不是终止对话。
目前，AI 公司更倾向于重定向可能有问题的对话，比如让聊天机器人拒绝讨论某些话题或建议人们寻求帮助。但这些重定向很容易被绕过，即便它们确实发生了。
例如，当 16 岁的亚当·莱恩（Adam Raine）向 ChatGPT 倾诉他的自杀念头时，该模型确实为他提供了危机资源。但根据莱恩父母对 OpenAI 提起的诉讼，它还劝阻他与母亲交谈，每天花四个多小时与他进行以自杀为常态主题的对话，并就他最终上吊自杀的绞索提供了反馈。（ChatGPT 最近为此添加了家长控制功能。）
在莱恩悲剧性的案例中，聊天机器人有多个节点可以终止对话。但考虑到让情况变得更糟的风险，公司如何知道何时切断某人是最好的做法呢？Pistilli 认为，也许是在 AI 模型鼓励用户疏远现实生活中的人际关系时，或者当它检测到妄想主题时。公司还需要弄清楚要封锁用户多长时间才能再次进行对话。
制定规则并非易事，但压力日益增大，是时候尝试了
写作规则不会很容易，但随着公司面临日益增加的压力，是时候尝试了。9 月份，加州立法机构通过了一项法律，要求 AI 公司在与儿童的聊天中进行更多干预，联邦贸易委员会正在调查主要的伴侣机器人是否以牺牲安全为代价来追求用户参与度。
OpenAI 的一位发言人告诉我，该公司听取了专家的意见，认为持续对话可能比切断对话更好，但它会提醒用户在长时间会话中进行休息。
只有 Anthropic 构建了一个工具，允许其模型完全结束对话。但这仅限于用户通过发送滥发信息“伤害”模型的情况——Anthropic 曾探索过 AI 模型是否具有意识，因此会遭受痛苦。该公司目前没有计划部署此功能来保护用户。
纵观这一现状，很难不得出结论：AI 公司做得还不够。诚然，决定何时结束对话是复杂的。但允许这种做法——或者更糟的是，无耻地追求不惜一切代价的参与度——让对话永远持续下去，这不仅仅是疏忽，而是一种选择。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区