📢 转载信息
原文作者：Rebecca Bellan
据一份提交至加州旧金山高等法院的诉讼文件显示，一名53岁的硅谷企业家在与ChatGPT进行了数月的频繁交流后，变得深信自己发现了一种治疗睡眠呼吸暂停的方法，并坚信有“大人物”正在追捕他。随后，他被指控利用该工具对前女友进行跟踪与骚扰。
TechCrunch独家获悉，这名女性受害者（化名Jane Doe）现已起诉OpenAI。她指控该公司的技术加剧了对她的骚扰。她声称，OpenAI忽略了三次关于该用户对他人的威胁警告，其中甚至包括一项将该账户活动标记为涉及大规模杀伤性武器的内部警示。
法律指控与诉求
原告Jane Doe要求被告赔偿惩罚性赔偿。周五，她还提交了一份临时限制令，要求法院强制OpenAI封禁该用户的账户，禁止其创建新账号，并在该用户尝试访问ChatGPT时通知她，同时要求OpenAI保留其完整的聊天记录作为证据。
据Doe的律师称，OpenAI已同意暂停该用户账号，但拒绝了其余要求。他们表示，该公司正在隐瞒有关用户在聊天中讨论的特定伤害计划以及其他潜在受害者的关键信息。
AI诱发精神病风险加剧
此案发生之际，人们对逢迎型AI系统（sycophantic AI systems）现实风险的担忧正日益增长。本案中引用的GPT-4o模型已于今年2月从ChatGPT中下架。
该案由Edelson PC律师事务所代理，该律所此前曾处理过青少年Adam Raine自杀案，以及Jonathan Gavalas案。在Jonathan案中，其家人指控谷歌的Gemini聊天机器人加剧了当事人的妄想和潜在的暴力风险。首席律师Jay Edelson警告称，AI诱发的精神病正在从个人伤害升级为可能引发大规模伤亡的风险。
持续的骚扰与公司的沉默
根据起诉书，该用户在与ChatGPT进行高强度使用后，将AI生成的观点带入现实生活，制作出看似专业的“心理报告”分发给受害者的家人、朋友和雇主。尽管OpenAI的自动化安全系统曾因“大规模杀伤性武器”活动标记并停用了该账户，但其安全团队在人工复核后竟然恢复了该账号，尽管当时该账户内可能已包含跟踪受害者的证据。
在Doe向OpenAI提交虐待通知并请求封禁该账户后，OpenAI回复称该报告“极其严重且令人不安”，并表示正在仔细审查，但此后便再无音讯。Doe的律师表示，OpenAI在明知用户精神不稳定且AI是其妄想引擎的情况下，仍未采取有效防护措施，这直接导致了后续更严重的暴力威胁行为。今年1月，该用户因发送炸弹威胁和持有致命武器被逮捕。
目前，该名用户已被裁定不具备受审能力，并被送往精神卫生机构，但据律师称，由于程序的失误，他可能很快会被释放到社会中。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区