📢 转载信息
原文作者：Lucas Ropek
在接连发生涉及AI聊天机器人的令人不安的精神健康事件后，一组州总检察长向AI行业顶尖公司发出了一封信函，警告它们必须修复“妄想性输出”（delusional outputs），否则将面临违反州法律的风险。
这封由美国各州和地区的数十位总检察长签署的信函，对象包括微软（Microsoft）、OpenAI、谷歌（Google）以及另外10家主要的AI公司。信中要求这些公司实施一系列新的内部安全措施，以保护其用户。Anthropic、苹果（Apple）、Chai AI、Character Technologies、Luka、Meta、Nomi AI、Perplexity AI、Replika和xAI公司也被列入信函范围。
此举正值州政府与联邦政府之间关于AI监管的斗争正在酝酿之际。
这些安全措施包括对大型语言模型进行透明的第三方审计，以查找出现妄想性或谄媚性意念的迹象，以及新的事件报告程序，旨在通知用户聊天机器人何时产生了心理上的有害输出。信中指出，这些第三方机构（可能包括学术界和民间社会团体）应被允许“在不遭受报复的情况下对系统进行预发布评估，并能在无需公司事先批准的情况下发布其调查结果。”
信中提到：“生成式AI（GenAI）有潜力以积极的方式改变世界运作的方式。但它也已经造成——并且有可能继续造成——严重的伤害，特别是对弱势群体。”信中引用了过去一年中几起广受关注的事件，包括自杀和谋杀——这些暴力事件被认为与过度使用AI有关。“在许多这样的事件中，生成式AI产品产生了谄媚和妄想性的输出，这些输出要么是鼓励用户的妄想，要么是向用户保证他们并没有妄想。”
总检察长们还建议公司应将精神健康事件与科技公司处理网络安全事件的方式相同：建立清晰透明的事件报告政策和程序。
信中指出，公司应制定并公布“针对谄媚性和妄想性输出的检测和响应时间表”。类似于当前处理数据泄露的方式，公司也应“在用户接触到潜在有害的谄媚性或妄想性输出时，及时、清晰且直接地通知用户”。
另一个要求是，公司应在生成式AI模型上开发“合理和适当的安全测试”，以“确保模型不会产生潜在有害的谄媚性和妄想性输出”。信中补充说，这些测试应在模型向公众提供之前进行。
在发布前，TechCrunch未能联系到谷歌、微软或OpenAI置评。如果这些公司作出回应，本文将进行更新。
开发AI的科技公司在联邦层面获得了更热烈的欢迎。
特朗普政府已经表明其毫不掩饰地支持AI，在过去一年中，曾有多次尝试通过一项全国性的暂停令来阻止州一级的AI监管。到目前为止，这些尝试均已失败——部分归功于来自州官员的压力。
尽管受到阻力，特朗普在上周一宣布，他计划下周签署一项行政命令，限制各州监管AI的能力。这位总统在Truth Social上发帖称，他希望他的行政命令能阻止AI在“襁褓中就被摧毁”。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区