📢 转载信息
原文作者：James O'Donnell
美国调查机构开始利用AI技术识别AI生成的儿童虐待图像
尽管人工智能（AI）正助长合成儿童虐待图像的激增，但它也正在被测试作为一种制止对真实受害者造成伤害的工具。
生成式AI使得儿童性虐待图像的制作数量急剧增加。根据一份新的政府文件，美国国土安全部（DHS）下属的网络犯罪中心（Cyber Crimes Center）——该中心负责调查跨国界的儿童剥削案件——正在试验使用AI来区分AI生成的图像与描绘真实受害者的材料。
国土安全部网络犯罪中心已向总部位于旧金山的Hive AI公司授予了一份价值15万美元的合同，用于其能够识别内容是否由AI生成（AI-generated）的软件。
这份于9月19日发布的文件被大量涂黑。Hive联合创始人兼首席执行官Kevin Guo告诉《麻省理工科技评论》（MIT Technology Review），他无法透露合同细节，但确认该合同涉及使用该公司针对儿童性虐待材料（CSAM）的AI检测算法。
该文件引用了国家失踪与受剥削儿童中心（National Center for Missing and Exploited Children）的数据，该数据显示，2024年涉及生成式AI的事件增加了1,325%。“在线传播的数字内容的巨大数量要求使用自动化工具来有效处理和分析数据，”文件中写道。
儿童剥削调查人员的首要任务是发现并阻止任何正在发生的虐待行为，但AI生成的CSAM的泛滥使得调查人员难以确定图像描绘的是否是面临实时风险的真实受害者。一个能够成功标记真实受害者的工具，在他们努力确定案件优先级时将是巨大的帮助。
文件中提到，识别AI生成的图像“确保调查资源集中在涉及真实受害者的案件上，从而最大限度地发挥该计划的影响力并保护弱势群体”。
Hive AI提供用于创建视频和图像的AI工具，以及一系列内容审核工具，可以标记暴力、垃圾邮件和色情材料，甚至识别名人。去年12月，《麻省理工科技评论》曾报道，该公司正在将其深度伪造（Deepfake）检测技术出售给美国军方。
在检测CSAM方面，Hive提供了一个与儿童安全非营利组织Thorn合作开发的工具，公司可以将其集成到其平台中。该工具使用一种“哈希”（hashing）系统，为调查人员已知的CSAM内容分配唯一的ID，并阻止该材料被上传。该工具及类似工具已成为科技公司的标准防御手段。
但这些工具仅仅是将内容识别为CSAM；它们无法检测出是否由AI生成。Hive开发了一个单独的工具来确定图像是否为AI生成。尽管Guo表示，它并非专门针对CSAM进行训练，但它也无需如此。“我们可以在图像中的某些像素的底层组合中识别出”它是AI生成的，”他说。“它可以是通用化的。”
Guo表示，网络犯罪中心将使用此工具来评估CSAM。他还补充说，Hive会根据客户设想的每个特定用例来对检测工具进行基准测试。
国家失踪与受剥削儿童中心参与了阻止CSAM传播的工作，但在截稿时未能就此类检测模型的有效性置评。
在文件中，政府为在没有竞争性招标的情况下授予Hive合同提供了理由。尽管部分理由被涂黑，但它主要引用了Hive演示文稿幻灯片中也提到的两个要点。其中之一是芝加哥大学2024年的一项研究，该研究发现Hive的AI检测工具在识别AI生成的艺术品方面优于其他四种检测器。另一个是其与五角大楼签订的用于识别深度伪造的合同。此次试验将持续三个月。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，小白也可以简单操作。
评论区