📢 转载信息
原文作者：Microsoft Research
我们近期发表的论文《LLMs Corrupt Your Documents When You Delegate》（当您委派任务时，大模型可能会损坏您的文档）引起了关于AI系统在委派工作流中可靠性的广泛讨论。我们非常感谢各界对这项研究的关注，并希望借此机会澄清关于该论文所涵盖及未涵盖内容的几项要点。
这项研究旨在为长周期委派及协作任务开发稳健的评估方法。更广泛地说，这项工作旨在深入探究“强基准测试性能”与“特定现实任务表现”之间的差距。通过使用受控评估方法，我们检验了信息在这些扩展工作流中的保存情况。在这一约束设定下，我们观察到模型在反复编辑过程中可能会积累保真度退化。但请注意，目前的生产系统完全可以通过验证循环、编排和特定领域的工具来缓解这些影响。
我们的目的并非反对在专业工作流中使用AI系统，而是为了指出当前系统在哪些方面还需要进一步的研究与工程优化，从而使其成为更值得信赖的协作伙伴。该基准测试仅作为检查委派模式的诊断工具，而非衡量模型整体能力、任务成功率或用户成果的指标。
主要结果
该论文评估了一种我们称之为“委派工作”的特定交互模式，即用户委托AI系统对文档、电子表格、代码或结构化文件进行多步修改，且步骤之间的人工验证有限。
我们采用了“转换-反转”链式任务来评估语义内容在扩展委派工作流中是否得到了准确保存。我们的评估使用了特定领域的语义解析，重点关注底层构件的有意义变化，而非表面的格式或风格差异。因此，我们报告的错误对应于底层语义内容的退化，但我们所定义的“损坏”并不包含任务完成度或用户满意度。
通过该方法，我们发现当前的前沿模型在长周期工作流中可能会引入稀少但后果严重的问题，且这些错误可能会随着重复交互而累积。在所评估的设置中，强大的顶尖模型在进行20次委派迭代后，构件保真度出现了大约19%至34%的退化。值得注意的是，Python工作流在扩展委派交互下表现出了更强的鲁棒性，平均退化率不到1%。
方法论限制
DELEGATE-52 测试集的设计初衷就是为了对长周期委派执行进行压力测试。该基准旨在评估系统在长序列转换和反转过程中是否能保持构件的完整性。
本研究特别聚焦于缺乏步骤间人工干预的委派执行情况。它并未试图衡量现实世界AI部署的全貌，因为许多实际应用中涉及了大量的监督、验证和工作流结构。
论文还评估了一个简化的智能体架构，具备Python执行和文件操作等工具使用能力。虽然这种设置并未完全消除观察到的退化，但不应将其视为针对特定工作流或企业领域优化的生产级系统的代表。
研究启示
我们认为这项工作的主要启示在于：实现可靠的、长周期的委派仍然是一个重要的开放性研究与工程挑战。
研究结果表明，仅凭短周期基准测试的优异表现，可能不足以保证长周期工作流中委派执行的可靠性。同时，这些发现不应被解读为AI系统在现实工作中缺乏实际价值的证据。
在实践中，许多部署的AI系统将模型与专业架构、编排层、检索系统、验证程序、记忆机制以及人工监督相结合，旨在提高可靠性，并克服底层模型局限性，提供有价值的用户成果。我们预期，随着模型、工作流感知训练、记忆系统以及生产级智能体架构的持续改进，这些失效模式将随时间推移进一步减少。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区