📢 转载信息
原文作者：Matt Burgess
根据WIRED查阅的最新研究显示，一家AI图像生成初创公司将其系统生成的超过一百万张图片和视频暴露，并使其在网上任何人都可以访问，安全研究人员在10月份发现了这一安全漏洞。
据发现这一安全漏洞的安全研究员Jeremiah Fowler称，包括MagicEdit和DreamPal在内的多个网站似乎都在使用同一个未受保护的数据库。Fowler表示，当时数据库中每天大约会新增10,000张图片。这些图片揭示了人们可能如何使用这些图像生成和编辑工具，其中包括可能未经同意被“裸体化”（“nudified”）的真实人物的“未修改”照片，或者他们的脸被换到了其他裸体模型上。
“真正的问题在于无辜的人，尤其是未成年人，未经同意就被使用他们的图像来制作色情内容，”Fowler说道。Fowler是一位多产的数据库泄露发现者，他在ExpressVPN博客上公布了这些发现。Fowler表示，这是他今年发现的第三个配置错误的AI图像生成数据库，它们似乎都包含非自愿的露骨图像，包括年轻人和儿童的图像。
Fowler的发现正值AI图像生成工具被持续用于恶意创建人物的露骨图像之际。一个庞大的“裸体化”服务生态系统，被数百万人使用且每年赚取数百万美元，使用AI从照片中“剥去”衣物——对象几乎全是女性。从社交媒体上窃取的照片只需点击几下即可编辑：导致对女性的痛苦的虐待和骚扰。与此同时，有报道称犯罪分子正在使用AI来创建儿童性虐待材料（CSAM），这涵盖了过去一年中涉及儿童的各种不雅图像，数量增加了一倍。
运营MagicEdit和DreamPal的初创公司DreamX的发言人表示：“我们极其重视这些担忧。”该发言人称，与该数据库相关的一家网红营销公司SocialBook由“一个独立的法律实体运营，且不参与”其他网站的运营。“这些实体因创始人或遗留资产而存在一些历史关联，但它们独立运作，拥有独立的产品线，”该发言人说。
SocialBook的发言人告诉WIRED：“SocialBook与您引用的数据库无关，不使用此存储空间，也从未参与其运营或管理。”“所引用的图像并非由SocialBook的系统生成、处理或存储。SocialBook独立运营，在所述的基础设施中不扮演任何角色。”
在Fowler的报告中写道，该数据库显示与SocialBook相关联，并包含带有SocialBook水印的图像。SocialBook网站上先前提及MagicEdit或DreamPal的多个页面现在都返回错误页面。“出问题的存储桶包含来自MagicEdit和DreamPal的遗留资产的混合。SocialBook从未将其运营基础设施用于此存储桶，”DreamX发言人说。
“我们的首要任务是用户和公众的安全、遵守所有法律要求以及在此过程中完全透明，”DreamX发言人补充道。“我们绝不纵容、支持或容忍创建或分发儿童性虐待材料（CSAM）。”
在Fowler与AI图像生成公司取得联系后，该发言人表示，该公司关闭了对泄露数据库的访问权限，并启动了“带有外部法律顾问的内部调查”。发言人还说，公司“在调查结果出来之前暂停了对我们产品的访问”。在WIRED联系到MagicEdit和DreamPal的运营方之前，这两个网站和移动应用程序都是可访问的。
在撰写本文时，DreamPal网站无法访问，返回502错误。“我们正在暂时中止该产品的某些功能，”MagicEdit网站首页上的一条消息显示。“在此期间，服务可能会不可用。”另一家相关网站也显示了相同信息。MagicEdit和DreamPal都在苹果iOS应用商店中被列为由开发者BoostInsider拥有。MagicEdit、DreamPal以及BoostInsider列出的另外两款AI应用现已从应用商店下架。
DreamX发言人称Boostinsider是一个“已解散的实体”，该公司“作为我们产品线和基础设施的更广泛重组的一部分，暂时移除了”这些应用，并且正在“加强我们的内容审核框架”。
这些应用似乎未出现在谷歌的Play商店中。然而，当一个BoostInsider账户询问为何其有两款应用（包括MagicEdit）今年早些时候被谷歌暂停时，谷歌社区的一位“专家”回复称，这些应用包含“露骨的色情内容”或裸体。谷歌发言人证实，这些应用因违反政策而被暂停。苹果发言人表示，这些应用已被从应用商店移除。
研究人员Fowler表示，Fowler发现的泄露数据库包含1,099,985条记录，其中“几乎所有”都是色情性质的。Fowler说，他会截取一些屏幕截图以验证泄露情况并向所有者报告，但不会捕获非法或可能违规的内容，也不会下载他发现的泄露数据。“全部都是图片和视频，”Fowler说，并指出没有其他文件类型。“泄露的数据库包含许多被认为是露骨的、AI生成的未成年人图像，以及潜在的儿童图像，”Fowler的报告称。
Fowler已将泄露的数据库报告给了美国全国失踪和受剥削儿童中心（NCMEC），这是一个与科技公司、执法部门和家庭合作开展儿童保护工作的非营利组织。该中心发言人表示，他们会审查CyberTipline收到的所有信息，但不会透露有关“收到的具体提示”的信息。
总的来说，数据库中的一些图像似乎是完全由AI生成的，包括动漫风格的图像，而另一些则是“超现实”的，并似乎基于真实人物，该研究员说。目前尚不清楚数据在开放互联网上暴露了多长时间。DreamX发言人表示“没有运营系统受到损害”。
MagicEdit网站在上线时，似乎没有明确表示它可以用来创建成年人的露骨图像。然而，Fowler在报告中写道，其在苹果应用商店的评级被列为18+。其主页还展示了一张AI生成的女性身穿连衣裙的图像，该图像会变成比基尼。该网站列出了人们可以使用的一系列“AI工具”——从“文生视频”和视频背景移除器，到“魔术橡皮擦”、换脸以及用AI扩展图像——其中一些功能需要付费的“专业”模式才能解锁。
MagicEdit还列出了一个“AI服装”工具。在其网站上列出的许多图像生成工具的“风格”都展示了女性的色情化图像，并且通常涉及在应用AI后让她们穿着更少的衣服——有时是比基尼或内衣。“看看这套服装如何在一秒钟内从日常休闲变为性感，”MagicEdit现已移除的Instagram账户上的一篇帖子写道。
“他们巧妙地推广色情内容方面做得很好，”Fowler说，他指出描绘裸体的AI工具很容易被“武器化”，用于勒索、骚扰和其他恶意目的。“这些公司真的需要做的不仅仅是弹出一个通用的弹出窗口：‘点击此处，即表示您同意上传此图片，您已获得许可。’你不能让人们自我监管，因为他们不会这么做。他们必须采取某种形式的审核，甚至要超越AI的范围。”
DreamX发言人说：“MagicEdit不宣传或鼓励露骨的色情内容，我们执行审核、过滤和安全机制以防止滥用。”该发言人补充说：“从技术角度来看，在收到任何外部询问之前，我们就实施了多项安全措施——包括提示词规范、输入过滤以及通过OpenAI的Moderation API对所有用户提示词进行强制性审查。”“如果提示词违反安全标准，系统会自动拦截请求。”
EndTAB（结束技术赋能虐待）创始人Adam Dodge说：“这是在初创公司对信任与安全以及保护儿童方面的冷漠问题的延续。”EndTAB为学校和组织提供培训，以帮助应对技术滥用问题。
与此同时，自称为“AI角色扮演聊天”的DreamPal网站在成人性质方面更为露骨。其网页上说人们可以“创造你梦想中的AI女友”。网站上的一些链接（可能是为了SEO目的）提到了“AI性爱聊天”、“说脏话的AI”和“AI大乳”。DreamPal网站底部的常见问题解答中写道：“我们已经移除了任何可能阻碍您表达最私密幻想的NSFW AI聊天过滤器。”
“我们看到的一切都是完全可以预见的，”Dodge说。“潜在的驱动力是对女性和女孩身体的性化和控制，”他说。“这不是一个新的社会问题，但我们正瞥见当这个问题被AI加速后的样子。”
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区