AI的“双刃剑”：打击与生成滥用图像

生成式AI使得儿童性虐待图像（CSAM）的制作数量呈爆炸式增长。如今，美国主要的儿童剥削案件调查机构正在试验使用AI来区分AI生成的图像和描绘真实受害者的材料。这是根据一份新的政府文件披露的信息。

美国国土安全部网络犯罪中心（Cyber Crimes Center）负责调查跨境儿童剥削案件，已向总部位于旧金山的Hive AI公司授予了一份价值15万美元的合同，用于采购其能够识别内容是否为AI生成软件。

官方合作与数据驱动的决策

这份于9月19日公布的文件经过了大量删减。Hive联合创始人兼首席执行官Kevin Guo告诉《麻省理工科技评论》，他无法讨论合同细节，但证实该合同涉及使用该公司针对CSAM的AI检测算法。

该文件引用了国家失踪与受剥削儿童中心（NCMEC）的数据，数据显示，2024年涉及生成式AI的案件增加了1,325%。文件指出：“在网上流通的数字内容的庞大数量，使得必须使用自动化工具来高效地处理和分析数据。”

儿童剥削调查人员的首要任务是发现并阻止正在发生的虐待行为，但AI生成CSAM的泛滥使得调查人员难以判断图像中描绘的是否是当前面临风险的真实受害者。一个能够成功标记真实受害者的工具，将在他们优先处理案件时提供巨大帮助。

文件指出，识别AI生成的图像“确保调查资源集中在涉及真实受害者的案件上，最大限度地发挥计划的影响力，保护弱势个体”。

Hive AI的技术优势

Hive AI提供AI工具来创建视频和图像，以及一系列内容审核工具，可以标记暴力、垃圾邮件和色情材料，甚至识别名人。2024年12月，《麻省理工科技评论》曾报道，该公司正向美国军方出售其深度伪造检测技术。

在检测CSAM方面，Hive与儿童安全非营利组织Thorn合作开发了一款工具，企业可以将其集成到自己的平台中。该工具使用“哈希”（hashing）系统，为调查人员已知的CSAM内容分配唯一的ID，并阻止该材料被上传。该工具及类似工具已成为科技公司的标准防御手段。

然而，这些工具仅能识别内容是否为CSAM，它们无法检测内容是否由AI生成。Hive创建了一个单独的工具来判断普通图像是否为AI生成。根据Guo的说法，尽管该工具并非专门针对CSAM进行训练，但它也不需要这样做。

“图像中的某些像素组合，我们可以识别出”它是AI生成的，”他说。“这是可以泛化（generalizable）的。”

合同的授予与试验

Guo表示，网络犯罪中心将使用此工具来评估CSAM。他还补充说，Hive会针对客户设定的具体用例来对检测工具进行基准测试。

在截稿前，参与打击CSAM传播工作的国家失踪与受剥削儿童中心未回应置评请求。

在该文件中，政府为不进行竞争性招标而授予Hive合同提供了理由。尽管部分理由被涂黑，但它主要引用了Hive演示文稿幻灯片中提及的两点。一是2024年芝加哥大学的一项研究发现，Hive的AI检测工具在识别AI生成艺术方面优于其他四种检测器。二是该公司与五角大楼签订的识别深度伪造的合同。此次试验将持续三个月。