📢 转载信息
原文作者：Sergio De Simone
在最近的一份研究报告中，OpenAI 提出了一个观点：大型语言模型（LLM）倾向于产生“幻觉”的根本原因，在于标准的训练和评估方法奖励了“猜测”而非“承认不确定性”。研究指出，这一发现或为减少幻觉并构建更值得信赖的 AI 系统开辟新途径，尽管并非所有人都认同“幻觉”的定义。
OpenAI 对 LLM 幻觉的深入剖析
根据 OpenAI 研究人员的分析，幻觉并非神秘现象，而是源于预训练阶段的错误。在这一阶段，模型仅接触到“正面示例”，因此无法区分错误陈述与事实。
然而，研究人员强调，即使所有预训练数据都被准确标记为真或假，这类错误仍然是不可避免的。这些错误在后训练阶段得以延续，其根源在于模型评估方式。
简单来说，评估方法倾向于优先考虑和排列模型的准确性，同时惩罚不确定性或回避作答。这形成了一个“恶性循环”：LLM 学会了为了最大化在一小组评估测试中的准确率而进行“猜测”。
我们观察到，现有的主要评估体系压倒性地惩罚不确定性，因此根本问题在于缺乏对齐的评估过多。假设模型 A 是一个正确表达不确定性且从不产生幻觉的对齐模型。模型 B 与模型 A 类似，但它从不表达不确定性，在不确定时总是“猜测”。在 0-1 评分（大多数当前基准测试的基础）下，模型 B 将优于模型 A。
如何解决评估体系中的“猜测奖励”？
基于这一洞察，OpenAI 研究人员得出结论：减少幻觉需要重新思考模型的评估方式。他们提出的一种方法是，对“自信的错误”施加比“不确定性表达”更重的惩罚，从而使模型在适当传达不确定性时获得相对奖励。
尽管这个想法已经引起了一些关注，但 OpenAI 团队采取了更激进的立场：
仅仅在旁边增加一些新的、能感知不确定性的测试是不够的。需要更新广泛使用的、基于准确性的评估体系，使其评分机制能够抑制猜测行为。如果主排行榜持续奖励侥幸的猜测，模型就会继续学习猜测。修复排行榜可以拓宽幻觉减少技术的采用范围，包括新开发的技术和先前研究中的技术。
事实上，OpenAI 研究人员报告称，他们尝试在 GPT-5-thinking-mini 中减少幻觉的努力取得了成功，错误率从 o4-mini 的 75% 降低到了 26%。然而，正如 Hacker News 上的用户 meshugaas 所指出的那样，这也意味着“超过一半的回复将是‘我不知道’”，并评论道：“没有人会使用那样的东西。”
关于“幻觉”的定义之争
尽管 OpenAI 研究人员表示有信心可以避免幻觉，但他们承认，由于幻觉的多面性，对于“幻觉究竟是什么”目前还没有达成共识。
他们的乐观态度受到了批评 LLM “拟人化”的反对者的制约。在 Hacker News 上，用户 didibus 强调了将 LLM 错误标记为“幻觉”背后的“营销动机”，并建议：“如果你停止对它们拟人化，回到它们作为预测模型的本质，那么预测结果出错就不是什么令人惊讶的结果了。”
在 LLM 幻觉辩论的另一端是 ThoughtWorks 的首席技术官 Rebecca Parsons。Martin Fowler 报道称，她将 LLM 幻觉视为一种“特性”，而非“Bug”：
LLM 所做的就是产生幻觉，只是我们发现其中一些很有用。
作为关于 LLM 幻觉辩论的最后一种观点，Gary Marcus 强调，虽然 LLMs 模仿了人类语言的结构，但它们对现实没有真正的理解，并且它们对自身输出的肤浅理解使得它们无法进行事实核查。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，小白也可以简单操作。
青云聚合API官网https://api.qingyuntop.top
支持全球最新300+模型：https://api.qingyuntop.top/pricing
详细的调用教程及文档：https://api.qingyuntop.top/about
评论区