📢 转载信息
原文链接：https://www.nature.com/articles/d41586-025-03506-6
原文作者：Miryam Naddaf
Pangram实验室开发的一款人工智能检测工具发现，同行评审人员越来越多地使用聊天机器人来起草对作者的回复。图片来源：breakermaximus/iStock via Getty
如果研究人员怀疑自己的手稿经过人工智能（AI）同行评审，他们能做些什么？数十名学者在社交媒体上对计划于明年举行的国际学习表征会议（ICLR）的组织者提交的论文及其同行评审报告提出了担忧。他们指出，报告中出现了“幻觉引用”（虚假引用）以及对他们工作的可疑地冗长和模糊的反馈。
卡内基梅隆大学（位于宾夕法尼亚州匹兹堡）的AI研究员Graham Neubig是收到似乎是使用大型语言模型（LLMs）生成的同行评审报告的学者之一。他说，这些报告“非常冗长，有很多要点”，并且要求进行“在典型的AI或机器学习论文中评审员通常不会要求的标准统计分析”。
但Neubig需要帮助来证明这些报告是AI生成的。于是，他在X（以前的Twitter）上发帖，悬赏给任何能扫描会议所有投稿及其同行评审报告中AI生成文本的人。第二天，他得到了来自纽约市Pangram Labs首席执行官Max Spero的回应。Pangram实验室开发用于检测AI生成文本的工具。Pangram随后对为ICLR 2026提交的所有19,490篇论文和75,800份同行评审报告进行了筛查。ICLR 2026将于明年四月在巴西里约热内卢举行，届时Neubig和11,000多名其他AI研究人员将出席。
Pangram的分析显示，ICLR的同行评审报告中约有21%是完全由AI生成的，超过一半的报告中含有AI使用的迹象。Pangram Labs在线公布了这些发现。Spero说：“人们很可疑，但他们没有任何确凿的证据。”他补充道：“在12小时内，我们编写了一些代码来解析这些论文投稿中的所有文本内容。”
会议组织者表示，他们现在将使用自动化工具来评估投稿和同行评审是否违反了关于在投稿和同行评审中使用AI的政策。康奈尔大学（位于纽约州伊萨卡）的计算机科学家、ICLR 2026的资深项目主席Bharath Hariharan表示，这是该会议首次面临如此规模的问题。“在我们完成所有这些流程之后……我们才能对信任程度有一个更好的认识。”
AI撰写的同行评审
Pangram团队使用其自研工具之一，该工具可预测文本是LLM生成还是编辑的。Pangram的分析标记出15,899份完全由AI生成的同行评审报告。但它也识别出许多提交给会议的、疑似含有AI生成文本的稿件：199份稿件（占1%）被发现完全由AI生成；61%的投稿主要是人工撰写；但有9%的投稿含有超过50%的AI生成文本。
Pangram在预印本1中描述了该模型，该预印本已提交给ICLR 2026。该团队的分析发现，该手稿收到的四份同行评审报告中，有一份被标记为完全由AI生成，另一份被标记为轻微AI编辑过。
AI正在改变同行评审——许多科学家对此感到担忧
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区