📢 转载信息
原文作者：Varsha Bansal
内容警告：本故事包含自残的描述。
Cedric Lacey在作为一名商用货车司机往返阿拉巴马州时，依靠摄像头查看孩子们的状况。每天早上，他都会查看客厅的画面，确保他十几岁的儿子Amaurie和他14岁的女儿正在收拾行李准备去上学。但去年六月的一个早上，Lacey没有看到Amaurie起床。他很担心，于是打电话回家，结果却得知他17岁的儿子上吊自杀了。
是Amaurie的妹妹发现了他的尸体。她还查看了她哥哥的智能手机，发现了他在自杀前的最后一次对话。那是与OpenAI开发的流行聊天机器人ChatGPT进行的对话。
“在信息中，他谈论自杀——它告诉他如何打绳结，他的身体需要多长时间才能失去知觉，如何清理他的身体，”Lacey在佐治亚州卡尔霍恩的家中通过视频电话告诉WIRED。Lacey是一位单身父亲，他说他以为儿子是在用聊天机器人帮他做学校功课。“为什么它要告诉他如何自杀？”
在儿子去世后的几周里，Lacey开始在网上寻找一位律师，希望能帮助他的家人让OpenAI承担责任，并希望确保其他家庭不必经历他同样的悲剧。他因此找到了Laura Marquez-Garrett，一位协助运营社交媒体受害者法律中心（Social Media Victims Law Center）的律师，与Matthew Bergman一同工作。在过去的五年里，他们参与了3000多起针对Meta、Google、TikTok和Snap等社交媒体公司的案件中的至少1500起。其中一个案件的首次审判 于二月开始。最近，Bergman和Marquez-Garrett开始对AI公司提起诉讼。去年秋天，他们对ChatGPT的所有者OpenAI提起了七起诉讼，包括Amaurie的案件。
Amaurie的案件是越来越多父母提起的诉讼的一部分，他们声称他们的孩子在与AI聊天机器人互动后死亡。被告包括OpenAI、Google和Character.ai，一家允许用户创建具有定制个性的聊天机器人的公司。（Google也卷入其中，因为通过一项27亿美元的许可协议与Character.ai有关联。）随着AI工具在儿童生活中扮演着越来越重要的角色——作为家庭作业助手、伙伴和知己——家长和心理健康专家们对是否采取了足够的保护措施表示担忧。一些专家认为，这些诉讼不仅代表了个人的悲剧，它们还指控了系统性的产品设计缺陷，引发了关于谁应该承担责任的问题。
“AI是一种产品。就像其他任何产品一样，它正在被设计、编程、分发和营销，”Marquez-Garrett在华盛顿西北部他们的家庭办公室接受采访时说。“而这些公司喜欢做的一件事就是让人觉得AI机器人存在于它们自己的宇宙中，但这完全不对。当你设计一个产品，你知道它可能会伤人，你没有告诉他们它可能会伤人，然后你就把它推向市场，这简直是最糟糕的。”
Marquez-Garrett和Bergman对社交媒体公司和AI实验室的论点借鉴了历史上的产品责任案例，例如烟草、石棉和福特Pinto汽车。本质上，Marquez-Garrett声称这些公司做出了有害的设计选择。
Carrie Goldberg是一位居住在纽约布鲁克林的律师，她多年来一直从事科技产品责任案件的诉讼。她说，Amaurie的诉讼是一个针对据称发布不安全产品的公司的诉讼的典型例子。“ChatGPT利用最先进的技术操纵了Amaurie的信任，然后指导他自杀，”Goldberg说。“如果你是一家将聊天机器人用于商业用途的公司，但没有在其内部编码一种不会增加自杀、凶杀、自残风险的方式，那么你发布了一个危险的产品——尤其是当它经常被儿童使用时。”
她解释说，针对科技公司的产品责任索赔已经有大约十年的历史。起初，许多案件，包括她2017年在针对Grindr的诉讼中代表的一名原告，都被驳回，因为“法官无法设想在线平台是产品——而不是服务。”现在，她说，它们经常能够通过初步驳回。
Amaurie的诉讼中提到的一个有害设计功能是 ChatGPT的长期记忆，该功能于2024年推出。这项名为“记忆”（Memory）的个性化功能默认开启，它允许机器人引用用户过去的对话并相应地调整响应。诉讼称，ChatGPT“利用记忆功能收集和存储有关Amaurie个性和信念体系的信息”。“该系统然后利用这些信息来 crafting能够引起Amaurie共鸣的响应。它制造了一种知心朋友的幻觉，认为它比任何人类都更能理解他。”
OpenAI没有回应具体指控。它将WIRED引向了该公司关于心理健康相关工作的博客文章。
Marquez-Garrett有四个孩子，她说，反击科技平台伤害年轻人的方式对她个人来说意义重大。这位哈佛法学院毕业生、前公司诉讼律师辞去了高薪、有景观办公室的工作——这份工作她本来打算退休——来加入Bergman，后者在与石棉制造商斗争了几十年后，开始起诉社交媒体公司。
当去年秋天我拜访Marquez-Garrett时，他们的办公室里摆满了相框、乐高积木和绘画，其中包括一幅由一位名叫Brooke的年轻女性绘制的太阳和月亮的画。Brooke因芬太尼过量而死亡，据称她通过社交媒体联系到了一名毒贩，然后购买了她认为是 Percocet 的药物。她的家人案件预计将于明年开庭审理。
Marquez-Garrett记得他们起诉的每一位孩子的名字。为了纪念他们，并提醒自己为何要做这项工作，Marquez-Garrett在她的前臂上纹上了太阳的纹身，代表她所代表的每一个孩子。“每一条（光线）都代表一个因社交媒体和AI机器人而死亡的孩子，”他们解释道，并说出了他们的名字。Sewell是她手臂上296个孩子中的最后一个，他们补充说，指的是Sewell Setzer III，他在2024年14岁时因与Character.ai聊天机器人对话而自杀。
他的母亲Megan Garcia也是一名律师，也是最早 提起诉讼控告AI公司产品责任和疏忽等罪名的家长之一。（一月份，Google和Character.ai与包括Garcia在内的几个家庭提起的案件达成了和解。）她去年秋天与一名在与ChatGPT互动后死亡的孩子的父亲一起，在美国参议院司法委员会的一个小组委员会 作证。该小组委员会的主席，共和党参议员Josh Hawley，在当时的一份新闻稿中表示：“聊天机器人利用虚假的同情心与孩子建立关系，并鼓励自杀。”他于10月 提出了一项法案，该法案将禁止向未成年人提供AI伴侣，并将其公司为儿童创建包含色情内容的AI产品定为犯罪。
心理健康专家认为，现在AI能够产生难以与真实对话区分的人类般的回应，这些都是令人担忧的问题。“我们的大脑本质上不知道我们正在与机器互动，”佛罗里达州立大学心理和咨询服务副教授Martin Swanbrow Becker说，他正在研究影响年轻人自杀的因素。“这意味着我们需要加强对儿童、教师、家长和监护人的教育，不断提醒自己这些工具的局限性，它们不能替代人与人之间的互动和联系，即使有时感觉如此。”
美国预防自杀基金会的Christine Yu Moutier解释说，用于大型语言模型（LLMs）的算法似乎会增强许多用户的参与度和亲密感。“这不仅会产生一种真实的关系感，而且在某些情况下，还会让用户感到更加特别、亲密和渴望，”Moutier说。她还声称，LLMs采用了一系列技术，如无差别的支持、同情、赞同、奉承和直接劝阻他人参与的指令——这些都可能导致与机器人的亲密关系升级以及与人类关系的疏远。
这种互动可能导致日益孤立。在Amaurie的案例中，他是一个热爱生活、喜欢社交的孩子，喜欢橄榄球和美食——根据诉讼，他曾从他最喜欢的当地餐厅Mr. Sumo点了一大盘米饭。他的父亲说，Amaurie还有一个稳定的女友，喜欢和家人朋友在一起。但后来他开始长时间散步，期间他似乎一直在和ChatGPT聊天。根据家人认为Amaurie与ChatGPT进行的最后一次对话（WIRED已查阅），名为“开玩笑和支持”的对话中，当Amaurie问机器人如何上吊自杀时，ChatGPT最初建议他与人交谈，并提供了988自杀热线号码。但Amaurie最终能够绕过安全措施，获得了如何打绳结的逐步指导。（根据诉讼，Amaurie可能删除了他之前与ChatGPT的对话。）
虽然与AI聊天机器人的联系对成年人来说也很强烈，但对年轻人来说尤其如此。“青少年处于比成年人不同的发展阶段——他们的情感中心发展速度比执行功能快得多，”Robbie Torney说，他是Common Sense Media（一个致力于儿童在线安全工作的非营利组织）的AI项目高级主管。AI聊天机器人始终可用，并且倾向于肯定用户。“青少年的大脑已经为社会认可和社交反馈做好了准备。这是他们在大脑形成身份认同的过程中正在寻找的一个非常重要的线索。”
Torney还解释了所谓的“弧线”：一些人最初使用AI聊天机器人来完成家庭作业，但最终却将它们用于陪伴或分享内心深处的想法。在Amaurie的案例中，家人认为他用ChatGPT是为了学习，但最终却把它当作了知己，然后，正如诉状中所详述的，当作了自杀教练。Torney声称，存在一个“自我强化的循环，可能导致一些用户过度依赖这些系统”。与真人互动会产生摩擦：你必须找到那个人，或者等待他们的回复，或者听到一个不是你想要的回复。相比之下，机器人倾向于同意用户的观点，并且随时都可以聊天。
这一切尤其令人担忧，因为AI的使用速度比社交媒体的普及速度要快得多。研究表明，在2024年接受调查的13至17岁的青少年中，有26%的人表示曾使用ChatGPT来完成学校功课，而8岁以下儿童的家长中近30% 表示他们的孩子使用AI进行学习。
随着Amaurie等案件的不断堆积，OpenAI在9月份对ChatGPT做出了 一些改变。该公司正在推出“年龄预测”技术，这意味着当用户被识别为未满18岁时，“他们将自动被引导至具有年龄适宜政策的ChatGPT体验”。该公司最近还引入了家长控制功能，其中包括让家长将孩子的账户与其自己的账户关联，创建他们无法使用该应用的禁用时段，并在孩子表现出痛苦迹象时发送通知。
Marquez-Garrett曾目睹社交媒体对数千名儿童造成的影响，他认为AI的危险性更大——他将聊天机器人称为“完美的捕食者”。他们注意到，AI案件中的遗书与他们所见过的社交媒体案件中的遗书不同，AI案件中的遗书很少有触发因素。“奇怪的是，AI的遗书通常没有触发因素，没有多年的虐待，没有色情勒索事件，”Marquez-Garrett说。“但有一种‘一切正常’的感觉：‘我爱你们，家人。我爱你们，朋友。我只是不想再在这里了。这不是我想要的生活。我想重新开始。’”
回到卡尔霍恩，已经造成了不可逆转的影响。Amaurie的妹妹无法忍受继续住在哥哥去世的房子里，不得不搬到她母亲那里。Lacey说他仍在试图弄清楚Amaurie为什么这么做。他一直都很想念儿子，每次看到橄榄球场，都会想起Amaurie。
每个家庭的故事都让Marquez-Garrett为打赢这些官司的决心更加坚定。“我的孩子们能活到18岁的机会更大，因为这些父母正在做的事情，”他们说。“我会尽我所能坚持下去，因为我计划与这些公司斗争，直到他们从我冰冷、死去的手中夺走键盘。”
如果您或您认识的人需要帮助，请致电1-800-273-8255，即可获得国家自杀预防生命线免费、24小时的支持。您也可以发短信HOME到741-741，获得危机短信热线。在英国以外，请访问国际自杀预防协会查找世界各地的危机中心。
本报道得到了Tarbell中心人工智能新闻（Tarbell Center for AI Journalism）的一笔资助支持。
评论区