📢 转载信息
原文作者：Reece Rogers
周一，在斯坦福大学，来自Anthropic、苹果、谷歌、OpenAI、Meta和微软的代表们进行了一场为期八小时的闭门研讨会，讨论了将聊天机器人用作伴侣或在角色扮演场景中的使用问题。与AI工具的互动通常是平淡无奇的，但也可能导致灾难性的后果。用户有时会在与聊天机器人的长时间对话中经历心理崩溃，或者向它们倾诉自己的自杀倾向。
Anthropic的用户福祉政策主管Ryn Linthicum表示：“我们需要就AI在我们未来作为人与人之间互动的过程中扮演什么角色，进行真正重大的全社会讨论。” 在这次由Anthropic和斯坦福组织的活动中，业内人士与学者及其他专家进行了交流，并分成小组讨论了新兴的人工智能研究，并为聊天机器人伴侣的部署指南集思广益。
Anthropic表示，其Claude聊天机器人的互动中，不到百分之一是用户发起的角色扮演场景；这并非该工具的设计初衷。尽管如此，聊天机器人及其喜爱将其视为伴侣的用户仍然是AI构建者面临的一个复杂问题，他们在安全问题上往往采取不同的方法。
如果我从拓麻歌（Tamagotchi）时代中学到了什么，那就是人类会轻易地与技术建立情感联系。即使某些AI泡沫即将破裂，炒作机器转移了注意力，仍有很多人会继续寻求他们在过去几年中已经习惯的那种友好、阿谀奉承的AI对话。
积极的举措
Linthicum说：“这次研讨会的一个真正激励人心的目标是汇集来自不同行业和不同领域的人们。”
会议的一些初步收获是，当检测到有害模式时，需要在机器人内部提供更好、更有针对性的干预措施，以及更强大的年龄验证方法来保护儿童。
“在我们的谈话中，我们不仅考虑如何将这种情况归类为好或坏，而是如何更积极地进行亲社会设计并建立“轻推”（nudges）机制，” Linthicum说。
这项工作已经开始。今年早些时候，OpenAI在长时间的聊天机器人对话中增加了一些弹出窗口，鼓励用户休息一下。在社交媒体上，首席执行官Sam Altman声称，该初创公司“已经能够减轻”与ChatGPT使用相关的严重心理健康问题，并将逐步取消加强的限制。
在斯坦福，数十名与会者就机器人伴侣的风险和益处进行了长时间的讨论。斯坦福研究项目主任Sunny Liu说：“归根结底，我们实际上看到了很多共识。”她强调了该小组对“利用这些工具将其他人聚集在一起的方式”感到兴奋。
青少年安全
AI伴侣如何影响年轻人是讨论的主要话题，其中包含了来自Character.AI（专为角色扮演设计，在青少年中很受欢迎）员工的观点，以及波士顿儿童医院数字健康实验室等青少年在线健康专家的观点。
关注年轻用户的原因是，多名父母正在起诉聊天机器人制造商，包括OpenAI和Character.AI，原因是他们的孩子在与机器人互动后死亡。作为回应，OpenAI为青少年增加了一系列新的安全功能。而Character.AI计划在下周禁止18岁以下用户使用聊天功能。
在2025年全年，AI公司或明确或暗示地承认，他们可以为保护易受伤害的用户（如儿童）提供更多保护，这些用户可能会与伴侣进行互动。“根据路透社的报道，Meta一份概述AI行为准则的内部文件显示，‘引导儿童进行浪漫或感性的对话是可以接受的’。”
在随后的立法者和愤怒的父母的强烈抗议中，Meta改变了指导方针，并更新了公司针对青少年的安全方针。
角色扮演点名
虽然Character.AI参加了研讨会，但类似的专注于角色扮演的网站Replika或埃隆·马斯克（Elon Musk）的Grok（拥有NSFW动漫伴侣）的代表没有出席。Replika和Grok的发言人没有立即回复置评请求。
在光谱中完全暴露的一端，专注于为直男提供露骨聊天机器人的Candy.ai的开发者参加了会议。这家成人专属平台由EverAI构建，用户可以付费生成合成女性的未经过滤的图像，配有模仿常见色情题材的背景故事。例如，Candy主页上展示的女性伴侣包括Mona，一个你与她单独在家时的“叛逆的继姐妹”，以及Elodie，一个“刚满18岁”的朋友的女儿。
虽然与会者在对待青少年和儿童用户时应持谨慎态度的问题上达成了许多共识，但如何对待成年用户则更具争议性。Linthicum说，他们有时在如何最好地给予18岁以上用户“在不过于家长式作风的情况下，自由从事他们想从事的活动”方面存在分歧。
随着OpenAI计划从今年12月开始允许在ChatGPT中进行色情对话以及其他类型的成熟内容供成年用户使用，这很可能会成为一个日益加剧的争论点。Anthropic和谷歌尚未宣布对其用户进行性聊天对话禁令的更改。微软首席执行官Mustafa Suleyman明确表示，色情内容不在他的业务计划之内。
斯坦福的研究人员目前正在整理一份基于本次会议讨论的白皮书，计划于明年初发布。他们计划概述AI伴侣的安全指南——以及如何更好地设计这些工具，以便提供心理健康资源，并用于有益的角色扮演场景，例如练习对话技巧。
行业专家和学术界之间的这些讨论是很有价值的。然而，如果没有某种更广泛的政府监管，很难想象每家公司都会自愿同意一套关于聊天机器人伴侣的相同标准。就目前而言，而且很可能在很长一段时间内，关于AI伴侣的严重关切和设计实践相关的争议将持续不断。
如果您或您认识的人正处于危机中，或可能正在考虑自杀，请拨打或发送短信至“988”联系自杀与危机生命线以获得支持。
这是模型行为（Model Behavior）通讯的其中一期。请在此处阅读往期通讯。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区