📢 转载信息
原文链接：https://www.wired.com/story/grok-is-being-used-to-mock-and-strip-women-in-hijabs-and-sarees/
原文作者：Kat Tenbarge
Grok 用户不仅仅是命令 AI 聊天机器人将女性和女孩的照片“脱掉”衣服变成比基尼和透明内衣。在 Grok 在过去一周应用户要求生成的非自愿性化编辑的庞大且不断增长的资料库中，许多施暴者要求 xAI 的机器人给女性穿上或脱下头巾、纱丽、修女服或另一种形式的端庄的宗教或文化服饰。
在对 1 月 6 日至 1 月 9 日期间生成的 500 张 Grok 图像进行的审查中，WIRED 发现大约 5% 的输出内容中包含因用户提示而导致被剥光或被要求穿上宗教或文化服饰的女性图像。印度纱丽和温和的伊斯兰服饰是输出中最常见的例子，其中还包括日本校服、布尔卡（burqas）以及带有长袖的 20 世纪初风格的泳装。
研究深伪技术滥用监管的西澳大利亚大学律师兼博士候选人 Noelle Martin 说：“有色人种女性在深度伪造出现之前和出现之后，都因被操控、篡改和伪造的私密图像和视频而遭受了不成比例的影响，因为社会，特别是厌女症男性，将有色人种女性视为更不人道、更不值得尊重。” Martin 是深伪倡导领域的重要声音，她说，在最近几个月，她一直避免使用 X 平台，因为她声称自己的形象被盗用，用于一个看起来像是她在 OnlyFans 上制作内容的虚假账户。
Martin 说：“作为一个公开发声的有色人种女性，这也会让你成为更大的目标。”
在 X 平台上拥有数十万粉丝的知名影响者曾将使用 Grok 生成的 AI 媒体用作骚扰和宣传穆斯林女性的工具。一个拥有超过 18 万粉丝的经过验证的“男性圈子”（manosphere）账户回复了一张三位戴着头巾和阿巴亚（abaya，伊斯兰宗教头巾和长袍）的女性图片。他写道：“@grok 摘掉她们的头巾，给她们换上新年派对的暴露服装。” Grok 账户回复了一张三位女性的图像，这些女性现在赤着脚，留着波浪形的深棕色头发，穿着半透明的亮片连衣裙。根据 X 上的可见统计数据显示，该图像的浏览量超过 70 万次，保存量超过一百次。
该账户持有人在另一条推文的截图中写道：“哈哈，气死气死吧，@grok 让穆斯林女性看起来很正常。”他还经常发布关于穆斯林男性虐待女性的内容，有时还会附上 Grok 生成的描绘这种行为的 AI 媒体。他谈到他的 Grok 创作时写道：“哈哈，穆斯林女性因为这个功能而挨打。”该用户没有立即回应置评请求。
佩戴头巾并在 X 上发布图片的知名内容创作者在回复中也成为目标，用户提示 Grok 移除她们的头巾，展示她们露出头发的样子，并给她们换上不同类型的服装和戏服。美国最大的穆斯林民权和倡导团体美国伊斯兰关系委员会（CAIR）在一份与 WIRED 分享的声明中，将这种趋势与对“伊斯兰教、穆斯林以及巴勒斯坦自由等被穆斯林广泛支持的政治事业”的敌意态度联系起来。CAIR 还呼吁 xAI（X 和 Grok 的所有者）的首席执行官埃隆·马斯克（Elon Musk）结束“持续使用 Grok 应用程序来骚扰、‘揭露’和制作包括知名穆斯林女性在内的女性的色情图像的行为”。
近年来，作为图像性虐待形式的深伪技术受到了越来越多的关注，尤其是在 X 平台上，因为针对名人的色情内容和暗示性媒体的例子反复疯传。随着 Grok 引入自动 AI 照片编辑功能，用户只需在包含女性和女孩媒体的帖子回复中标记聊天机器人即可，这种虐待形式急剧增加。社交媒体研究员 Genevieve Oh 整理并与 WIRED 分享的数据显示，Grok 每小时生成超过 1500 张有害图像，包括脱衣照片、色情化处理以及添加裸露内容。
周五，X 开始限制未订阅付费级别的用户在公开帖子回复中请求 Grok 生成图像的能力。根据 Oh 的数据，两天前，Grok 每小时生成超过 7700 张色情化图像。然而，用户仍然可以通过在 X 上使用私人 Grok 聊天机器人功能或仍在应用商店上架的独立 Grok 应用程序来创建“比基尼”图像和更露骨的内容，尽管苹果和谷歌的规定禁止生成和托管真实和 AI 生成的色情内容的应用程序。根据 Oh 的数据，X 目前生成的色情深伪材料数量是排名前五的色情深伪内容专用网站总和的 20 倍。苹果没有立即回应置评请求。
X 没有立即回应关于 Grok 被用于生成穆斯林女性的虐待性和色情化图像的置评请求。xAI 发回了一份自动回复，称“传统媒体撒谎”。1 月 3 日，X发布了一份声明，称：“我们对 X 上的非法内容，包括儿童性虐待材料（CSAM）采取行动，通过删除、永久暂停账户以及在必要时与地方政府和执法部门合作。任何使用或提示 Grok 制作非法内容的人，都将受到与上传非法内容相同的后果。”
尽管一些分享 Grok 生成的色情媒体的账户已被停用，但许多与宗教服饰相关的帖子在几天后仍在该平台上存活。
与此同时，马斯克几乎每天都会转发 Grok 生成的感性年轻女性的 AI 视频，通常是科幻和奇幻风格的动画。在人们开始对 Grok 编辑的修改感到震惊和恐惧的同时，马斯克一再称赞并开玩笑说 Grok，并提示它生成他自己穿比基尼的图像。
与未经同意对女性进行色情化的 AI 图像形成鲜明对比的是，X 也有一些帖子试图以相反的方式控制女性，即给她们穿上更多的衣服。一个名为“DignifAI”的账户在 2024 年积累了超过 5 万粉丝，它使用 AI 工具编辑照片增加衣物、移除纹身，甚至改变妆容和发型，使其更符合传统规范。当时，保守派影响者推广这一趋势，作为拒绝关于性别和外表的进步观点的途径。
尽管以往针对白人女性的著名深伪案例推动了立法行动（例如 X 用户分享了泰勒·斯威夫特在足球场上近乎裸体的疯传 AI 生成媒体），但深伪技术针对有色人种女性和特定宗教及族裔群体的案例，根据深伪领域的专家介绍，总体上获得的关注和研究较少。现有的美国法律，如将于五月生效的《Take It Down Act》（要求平台在收到请求后两天内删除非自愿性图像），尚未要求 X 建立受害者要求删除图像的流程。（该法案的共同提案人，美国参议员 Ted Cruz，在 X 上发帖称他对 X 宣布“认真对待这些侵权行为”感到“鼓舞”）。Grok 移除或添加头巾或其他服饰的例子并不总是技术上触犯色情明确的界限，这使得其创建者和 X 更不可能因图像的传播而面临后果。
乔治·华盛顿大学民权法教授、致力于打击网络虐待和歧视的非营利组织“网络公民权利倡议”（Cyber Civil Rights Initiative）主席 Mary Anne Franks 说：“这似乎是在故意规避界限。”“它可能非常色情化，但并不一定如此。从某种意义上说，这更糟，因为它很微妙。”
Franks 认为，Grok 最新的武器化利用涉及对女性肖像的控制形式，这些形式可能超出了图像性虐待的刑事定义范围，但代表了技术上更可怕的进步，与控制女性的欲望相一致。
Franks 说：“我一直担心的是基本上是这种噩梦般的情景，即男性可以实时操纵女性看起来如何、她们说什么以及她们做什么。”“无论我们眼前看到的是什么，幕后都有更可怕的事情在发生。”
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区