📢 转载信息
原文作者：Ram Iyer, Rebecca Bellan
科技界非自愿的色情深度伪造问题现在已经不仅仅是X一家公司的问题了。
在一封致X、Meta、Alphabet、Snap、Reddit和TikTok领导层的信函中，几位美国参议员要求这些公司提供证据，证明它们已制定了“强有力的保护和政策”，并解释它们计划如何遏制其平台上色情深度伪造内容激增的现象。
参议员们还要求这些公司保存所有与色情、由人工智能生成的图像的创建、检测、审核和货币化，以及任何相关政策相关的所有文件和信息。
这封信函是在X表示已更新Grok，禁止其生成真人暴露服装的编辑图像，并将Grok的图像创建和编辑功能限制于付费订阅用户之后几小时发出的。（X和xAI是同一家公司。）
参议员们指出，鉴于媒体报道了Grok轻易和经常生成女性和儿童的色情及裸露图像的情况，平台用于阻止用户发布非自愿色情图像的保障措施可能还不够充分。
信中写道：“我们认识到许多公司都制定了禁止非自愿亲密图像和性剥削的政策，许多人工智能系统也声称会阻止露骨的色情内容。然而，正如上述例子所示，在实际操作中，用户总能找到绕过这些保障措施的方法，或者这些保障措施本身就在失效。”
Grok，进而影响到X，因助长这一趋势而受到严厉批评，但其他平台也并非幸免。
深度伪造（Deepfakes）首次流行起来是在Reddit上，当时一个展示名人合成色情视频的页面疯传，直到平台在2018年将其下线。针对名人和政客的色情深度伪造内容在TikTok和YouTube上激增，尽管它们通常源于其他地方。
Meta 的监督委员会去年曾指出两起涉及女性公众人物的露骨AI图像的案例，而且该平台还曾允许“裸体化”（nudify）应用在其服务上投放广告，尽管Meta后来起诉了一家名为CrushAI的公司。有多次报道称儿童在Snapchat上散播同伴的深度伪造内容。而未被列入参议员名单的Telegram，也因托管用于给女性照片“去衣”的机器人而臭名昭著。
作为对信函的回应，X提到了其关于更新Grok的声明。
Reddit发言人在一份电子邮件声明中表示：“我们不在Reddit上发布也不允许任何非自愿亲密媒体（NCIM），不提供任何有能力制作此类内容的工具，并采取积极措施寻找和删除此类内容。”该发言人补充说：“Reddit严格禁止NCIM，包括被伪造或AI生成的描绘。我们也禁止向他人索取此类内容、分享指向‘裸体化’应用的链接，或讨论如何在其他平台上创建此类内容。”
Alphabet、Snap、TikTok和Meta尚未立即回应置评请求。
该信函要求这些公司提供以下信息：
- “深度伪造”内容、“非自愿亲密图像”或类似术语的政策定义。
- 公司针对人们身体的非自愿AI深度伪造、非裸露图片、衣物修改和“虚拟去衣”的政策和执行方法的描述。
- 关于编辑媒体和露骨内容的现有内容政策，以及向审核员提供的内部指导的描述。
- 现有政策如何根据人工智能工具和图像生成器与暗示性或亲密内容相关联进行管理。
- 为防止深度伪造内容的生成和传播所实施的过滤器、保障措施或措施。
- 公司用于识别深度伪造内容并防止其被重新上传的机制。
- 他们如何阻止用户从此类内容中获利。
- 平台如何防止自身从非自愿的AI生成内容中获利。
- 公司的服务条款如何使其能够封禁或暂停发布深度伪造内容的用户。
- 公司为通知非自愿色情深度伪造的受害者所采取的措施。
该信函由参议员Lisa Blunt Rochester (D-Del.)、Tammy Baldwin (D-Wis.)、Richard Blumenthal (D-Conn.)、Kirsten Gillibrand (D-N.Y.)、Mark Kelly (D-Ariz.)、Ben Ray Luján (D-N.M.)、Brian Schatz (D-Hawaii) 和 Adam Schiff (D-Calif.) 签署。
此举发生在xAI的所有者埃隆·马斯克（Elon Musk）称他“不知道任何由Grok生成的未成年人裸体图像”一天之后。随后，在周三晚些时候，加州总检察长在来自世界各国政府的压力下，对xAI的聊天机器人展开了调查，这些政府对Grok缺乏保障措施导致此类事件发生感到愤怒。
xAI一直声称它会采取行动删除“X上的非法内容，包括[CSAM]和非自愿裸体内容”，但该公司和马斯克都没有解释为什么一开始就允许Grok生成此类编辑内容。
这个问题不仅限于非自愿的性化操纵图像。虽然并非所有基于AI的图像生成和编辑服务都允许用户“给人物去衣”，但它们确实允许轻松生成深度伪造内容。举几个例子：OpenAI的Sora 2据报道允许用户生成涉及儿童的露骨视频；谷歌的Nano Banana 似乎生成了一张显示查理·柯克被枪击的图像；而使用谷歌的AI视频模型的种族主义视频正在社交媒体上获得数百万次观看。
当涉及到中国的图像和视频生成器时，这个问题变得更加复杂。许多中国科技公司和应用程序——特别是与字节跳动相关的——提供了轻松编辑面部、声音和视频的方式，这些输出内容已经传播到了西方的社交平台。中国对合成内容有更严格的标签要求，而美国在联邦层面缺乏这些要求，大众反而依赖于平台自身零散且执行存疑的政策。
美国立法者已经通过了一些旨在规范深度伪造色情内容的立法，但效果有限。去年5月成为联邦法律的《Take It Down Act》旨在将创建和传播非自愿色情图像定为刑事犯罪。但该法案中的一些条款使得追究图像生成平台的责任变得困难，因为它们将大部分审查重点放在了个人用户身上。
与此同时，一些州正试图采取自己的行动来保护消费者和选举。本周，纽约州州长凯茜·霍楚尔提出了法律，要求AI生成的内容必须标记，并在选举前特定时期内禁止非自愿深度伪造，包括对反对派候选人的描绘。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区