📢 转载信息
原文作者：James O'Donnell
美国调查机构正利用AI识别AI生成的儿童虐待图像
尽管人工智能正在助长合成儿童性虐待图像（CSAM）的激增，但它也被测试用于阻止对真实受害者的伤害。
生成式AI（Generative AI）的出现使得儿童性虐待图像的制作数量激增。根据一份新的政府文件，美国负责调查儿童剥削案的主要机构正在试验利用AI来区分AI生成的图像与描绘真实受害者的材料。
美国国土安全部网络犯罪中心（Department of Homeland Security’s Cyber Crimes Center）负责跨国界调查儿童剥削案件。该中心已向总部位于旧金山的Hive AI公司授予了一份价值15万美元的合同，用于采购其能够识别内容是否由AI生成软件。
该合同文件于9月19日发布，其中大部分内容经过了大量编辑。Hive联合创始人兼首席执行官Kevin Guo告诉《麻省理工科技评论》（MIT Technology Review），他无法讨论合同细节，但确认该合同涉及使用该公司针对儿童性虐待材料（CSAM）的AI检测算法。
该文件引用了国家失踪与受剥削儿童中心（National Center for Missing and Exploited Children）的数据，该数据显示，2024年涉及生成式AI的事件增加了1,325%。文件中写道：“在网上流通的数字内容的巨大数量要求使用自动化工具来有效处理和分析数据。”
儿童剥削调查人员的首要任务是发现并阻止当前正在发生的任何虐待行为，但AI生成的CSAM泛滥使得调查人员难以判断图像描绘的是否是当前面临风险的真实受害者。一个能够成功标记真实受害者的工具，将在他们努力确定案件优先级时提供巨大帮助。
文件中指出，识别AI生成的图像“确保调查资源集中在涉及真实受害者的案件上，从而最大限度地发挥计划的影响并保护弱势个体”。
Hive AI提供用于创建视频和图像的AI工具，以及一系列内容审核工具，这些工具可以标记暴力、垃圾邮件和色情材料，甚至识别名人。去年12月，《麻省理工科技评论》报道称，该公司正在向美国军方出售其深度伪造检测技术。
在检测CSAM方面，Hive与儿童安全非营利组织Thorn合作开发了一款工具，公司可以将其集成到自己的平台中。该工具使用“哈希”（hashing）系统，为调查人员已知的CSAM内容分配唯一的ID，并阻止该材料被上传。该工具和类似工具已成为科技公司的标准防御措施。
但这些工具只能识别出一段内容是CSAM；它们无法检测内容是否由AI生成。Hive创建了一个单独的工具来确定图像是否是AI生成的。尽管该工具并未专门针对CSAM进行训练，但据Guo介绍，它也无需如此。“图像中某些底层的像素组合，我们可以将其识别为AI生成，”他说。“这是可以泛化的。”
Guo表示，网络犯罪中心将使用此工具来评估CSAM。他补充说，Hive会根据客户设定的具体用例对检测工具进行基准测试。
国家失踪与受剥削儿童中心参与了阻止CSAM传播的工作，但未能在截稿前对这类检测模型的有效性发表评论。
在合同文件中，政府说明了在没有竞争性招标的情况下授予Hive合同的原因。尽管部分理由被编辑了，但它主要引用了Hive演示文稿幻灯片中也提到的两个要点。一是芝加哥大学2024年的一项研究发现，Hive的AI检测工具在识别AI生成艺术方面优于其他四种检测器。二是其与五角大楼签订的识别深度伪造的合同。本次试验将持续三个月。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，小白也可以简单操作。
青云聚合API官网https://api.qingyuntop.top
支持全球最新300+模型：https://api.qingyuntop.top/pricing
详细的调用教程及文档：https://api.qingyuntop.top/about
评论区