📢 转载信息
原文链接：https://machinelearningmastery.com/the-machine-learning-practitioners-guide-to-speculative-decoding/
原文作者：Jason Brownlee
投机性解码（Speculative Decoding）是一种用于提高大型语言模型（LLM）推理速度的生成技术。它通过在生成过程中同时使用一个小型、快速的草稿模型（draft model）和一个大型的、慢速的目标模型（target model）来实现这一点。
与标准的自回归解码不同，投机性解码旨在充分利用现代硬件（尤其是GPU）的并行计算能力，从而显著减少LLM在生成文本时的等待时间。
本文将介绍投机性解码的基础知识，包括其工作原理、核心优势以及如何在实践中应用此技术。
本指南旨在为希望将此技术集成到其工作流程中的机器学习从业者提供实用的见解。
如果你想深入了解LLM的推理优化，可以参考以下资源：
什么是投机性解码？
在标准的自回归文本生成中，模型一次生成一个token，这导致了显著的延迟，因为每次生成都需要对整个模型进行一次前向传递。
投机性解码通过使用一个更小、更快的草稿模型来预测后续的一批 token，然后让目标模型并行验证这些预测。如果预测正确，就可以一次性接受多个 token，从而实现显著的速度提升。
该方法的核心思想是，小型模型可以快速生成一组初步的输出，而大型模型只需验证这些输出是否与它自己生成的顺序相同。
工作原理
投机性解码过程可以分解为以下几个步骤：
- 草稿生成（Drafting）：使用小型、快速的草稿模型，基于当前上下文生成 $N$ 个 token 序列。
- 并行验证（Verification）：将这 $N$ 个 token 序列作为输入，一次性输入到大型的目标模型中。
- 比较与接受（Compare and Accept）：目标模型并行计算这 $N$ 个位置的概率分布。然后，从草稿序列的第一个 token 开始，逐一与目标模型计算的分布进行比较。
- 接受/拒绝（Accept/Reject）：如果目标模型在该位置的预测与草稿模型一致，则接受该 token，并继续检查下一个。如果发生不一致，则接受目标模型在该位置预测的第一个 token，丢弃剩余的草稿 token，并从该点开始重复整个过程。
这种方法将大量的顺序计算（大型模型的自回归生成）转换为了更多的并行计算（目标模型的验证步骤），从而极大地提高了吞吐量。
为什么使用投机性解码？
投机性解码的主要优势在于其能够在不牺牲生成质量的前提下加速推理速度。
性能提升
在实践中，如果草稿模型足够准确，投机性解码可以实现接近2倍的加速，有时甚至更高。这对于需要快速响应的应用（如实时聊天机器人或代码生成）至关重要。
质量保持
关键在于，最终的输出仍然由目标模型根据其高概率的分布所决定。草稿模型只是一个加速机制，它不会改变最终文本的语义或质量。
硬件效率
传统的LLM推理严重受限于内存带宽（GPU必须等待每个token的计算结果才能开始下一个），而投机性解码通过并行验证步骤，更好地利用了现代GPU的计算单元，提高了硬件利用率。
如何构建和使用投机性解码？
实施投机性解码需要仔细选择草稿模型和配置解码策略。
选择草稿模型
草稿模型（通常称为 $ ext{Model}_D$）应该具备以下特点：
- 速度快：通常是一个参数量小得多的模型（例如，一个1B参数的模型用于加速一个70B参数的模型）。
- 足够准确：它生成的 token 序列应尽可能多地与大型目标模型（$ ext{Model}_T$）的输出相匹配。
一个常见的实践是使用原始目标模型的一个更小的、经过量化或知识蒸馏后的版本作为草稿模型。
解码策略与超参数
投机性解码引入了一些新的超参数需要调整：
- 草稿长度 ($N$)：草稿模型一次尝试生成的 token 数量。长度越长，潜在的加速越大，但如果预测错误，浪费的计算也越多。
- 接受概率：即使目标模型没有给出完全相同的分布，有时也会接受概率较高的草稿 token，以平衡速度和准确性。
在许多实现中，如果草稿模型的输出与目标模型在某个位置 $i$ 发生分歧，那么只有到 $i-1$ 为止的 token 被接受，然后从 $i$ 重新开始生成。
局限性与挑战
尽管投机性解码非常强大，但也存在一些挑战：
- 草稿模型质量的依赖性：如果草稿模型生成了大量与目标模型不一致的 token，那么加速效果将大打折扣，甚至可能因为额外的验证步骤而变慢。
- 实现复杂性：需要同时管理两个模型的推理流程和状态，这比标准的自回归解码复杂得多。
- 上下文长度的影响：在处理非常长的序列时，模型状态的管理和同步变得更加复杂。
总而言之，投机性解码是提高LLM部署效率的下一代技术，它通过巧妙地结合快速模型和慢速模型，在不影响生成质量的前提下，充分利用了现代GPU的并行处理能力。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区