📢 转载信息
原文链接：https://www.kdnuggets.com/the-5-free-must-read-books-for-every-llm-engineer
原文作者：Kanwal Mehreen
Image by Author
# 引言
我知道很多人都想深入研究LLM（大型语言模型），虽然课程和文章有助于拓宽知识面，但要获得深入的理解，确实需要参考书籍。另一个我个人喜欢书籍的地方是它们的结构。相比于有时可能显得零散的课程，书籍的结构更直观、更连贯。基于此动机，我们为读者开启一个新系列，推荐5本免费但绝对值得一读的、针对不同角色的书籍。因此，如果你是认真想了解大型语言模型（LLMs）究竟是如何工作的，那么这是我推荐你应该从哪开始阅读的5本免费书籍。
# 1. 大型语言模型基础 (Foundations of Large Language Models)
《Foundations of Large Language Models》出版于2025年初，是为那些真正想了解LLM如何构建、训练和对齐的人所写的，结构清晰且概念明确。作者（Tong Xiao & Jingbo Zhu）都是自然语言处理（NLP）领域的知名人物。他们没有急于追赶每一个新的架构或趋势，而是仔细解释了像GPT、BERT和LLaMA等现代模型背后的核心机制。
这本书强调基础性思维：预训练到底意味着什么，生成模型内部如何运作，为什么提示工程策略很重要，以及当人类试图微调机器行为时，“对齐”到底涉及什么。我认为它在理论和实现之间取得了深思熟虑的平衡，旨在为那些希望在开始实验之前打下坚实概念基础的学生和从业者提供帮助。
// 大纲概览
- 预训练（概述、不同范式、BERT、适配和应用预训练模型的实际方面等）
- 生成模型（仅解码器Transformer、数据准备、分布式训练、缩放定律、内存优化、效率策略等）
- 提示工程（良好提示设计的原则、高级提示方法、优化提示的技术）
- 对齐（LLM对齐与RLHF、指令微调、奖励建模、偏好优化）
- 推理（关于解码算法、评估指标、高效推理方法的指导）
# 2. 语音与语言处理 (Speech and Language Processing)
如果你想深入理解NLP和LLM，Daniel Jurafsky和James H. Martin的《Speech and Language Processing》是最好的资源之一。第三版草案（2025年8月24日发布）已完全更新，涵盖了现代NLP，包括Transformer、LLM、自动语音识别（Whisper）和文本转语音系统（EnCodec & VALL-E）。Jurafsky和Martin是计算语言学领域的领导者，他们的书被顶尖大学广泛使用。
它提供了一个清晰、结构化的方法，从标记（tokens）和嵌入（embeddings）等基础知识到LLM训练、对齐和对话结构等高级主题。草案PDF可免费获取，使其既实用又易于获取。
// 大纲概览
- 第一卷：大型语言模型
- 第1-2章：引言、词语、标记和Unicode处理
- 第3-5章：N-gram LM、用于文本分类的逻辑回归，以及向量嵌入
- 第6-8章：神经网络、LLM和Transformer——包括采样和训练技术
- 第9-12章：训练后微调、掩码语言模型、IR与RAG，以及机器翻译
- 第13章：RNN和LSTM（学习序列模型的可选顺序）
- 第14-16章：语音学、语音特征提取、自动语音识别（Whisper）和文本转语音（EnCodec & VALL-E）
- 第二卷：标注语言结构
- 第17-25章：序列标注、词性标注与命名实体识别（POS & NER）、上下文无关文法（CFG）、依存句法分析、信息抽取、语义角色标注、词典、共指消解、篇章连贯性和对话结构
# 3. 如何扩展你的模型：TPU上LLM的系统视角 (How to Scale Your Model: A Systems View of LLMs on TPUs)
训练LLM可能很困难，因为数字巨大、硬件复杂，而且很难确定瓶颈所在。《How to Scale Your Model: A Systems View of LLMs on TPUs》采取了非常实用的、面向系统的方来解释LLM的性能方面，比如张量处理单元（TPUs）（和GPU）的内部工作原理、这些设备如何通信，以及LLM在真实硬件上如何运行。它还涵盖了用于训练和推理的并行策略，以便在海量规模上高效扩展模型。
这份资源之所以引人注目，是因为作者们曾在Google从事生产级的LLM系统工作，因此他们分享了自己的经验。
// 大纲概览
- 第0部分：性能分析（理解硬件限制：浮点运算次数（flops）、内存带宽、内存）
- 第1部分：TPU（TPU的工作原理及其如何网络化以进行多芯片训练）
- 第2部分：分片（矩阵乘法，TPU通信成本）
- 第3部分：Transformer数学（计算flops、字节和其他关键指标）
- 第4部分：训练（并行策略：数据并行、全分片数据并行（FSDP）、张量并行、流水线并行）
- 第5部分：训练LLaMA（在TPU v5p上训练llama 3的实际示例；成本、分片和规模考虑因素）
- 第6部分：推理（延迟考虑、高效采样和加速器利用率）
- 第7部分：服务LLaMA（在TPU v5e上服务llama 3-70b模型；KV缓存、批处理大小、分片和生产延迟估算）
- 第8部分：性能分析（使用XLA编译器和性能分析工具进行实际优化）
- 第9部分：JAX（使用JAX高效编程TPU）
# 4. 理解大型语言模型：使用探针分类器和自解释方法实现严格且有针对性的可解释性 (Understanding Large Language Models: Towards Rigorous and Targeted Interpretability Using Probing Classifiers and Self-Rationalisation)
《Understanding Large Language Models: Towards Rigorous and Targeted Interpretability Using Probing Classifiers and Self-Rationalisation》并非典型的教科书。它是林雪平大学（Linköping University）Jenny Kunz的博士论文，但它涵盖了LLM如此独特的一个方面，值得列入此清单。她探讨了大型语言模型是如何工作的，以及我们如何能更好地理解它们。
LLM在许多任务上表现出色，但它们如何做出预测并不清楚。这篇论文研究了理解这些模型的两种方法：使用探针分类器查看内部层，以及检查模型为其预测生成的解释。她还研究了那些与其预测一起生成自由文本解释的模型，探索这些解释的哪些属性确实有助于下游任务，哪些与人类直觉一致。这项工作对于有兴趣创建更透明和负责任的AI系统的研究人员和工程师来说很有用。
// 大纲概览
- 使用探针分类器理解LLM层（分析模型每一层存储的信息，检查现有探针方法的局限性，通过改变数据创建更严格的探针测试，开发衡量各层知识差异的新方法）
- 使用自解释模型解释预测（生成与模型预测一起的文本解释，将解释与人类评分和任务性能进行比较，研究哪些属性使解释对任务有用与易于理解，为解释标注类似人类的特征及其对不同用户的影响）
# 5. 网络安全中的大型语言模型：威胁、暴露与缓解 (Large Language Models in Cybersecurity: Threats, Exposure and Mitigation)
LLM非常强大，但它们也可能带来风险，例如泄露私人信息、协助网络钓鱼攻击或引入代码漏洞。《Large Language Models in Cybersecurity: Threats, Exposure and Mitigation》解释了这些风险并展示了减轻它们的方法。它涵盖了真实的例子，包括社会工程、监控LLM的采用情况以及建立安全的LLM系统。
这个资源很独特，因为它专注于LLM在网络安全中的应用，这是大多数LLM书籍没有涵盖的主题。对于想了解LLM的危险和保护措施的任何人来说，它都非常有用。
// 大纲概览
- 第一部分：引言（LLM的工作原理和用途，LLM的局限性及其任务评估）
- 第二部分：网络安全中的LLM（私人信息泄露风险、网络钓鱼和社会工程攻击、代码建议引入的漏洞、LLM辅助的影响行动和网络索引）
- 第三部分：跟踪和预测暴露情况（LLM采用和风险的趋势、投资和保险方面、版权和法律问题、监控LLM的新研究）
- 第四部分：缓解措施（安全教育和意识、隐私保护训练方法、抵御攻击和对抗性使用的防御、LLM检测器、红队演练和安全标准）
- 第五部分：结论（LLM在造成威胁和提供防御中的双重作用，安全使用LLM的建议）
# 总结
这五本书从非常不同的角度探讨了LLM：理论、语言学、系统、可解释性和安全性。总而言之，它们为任何认真学习大型语言模型的人形成了一个完整的学习路径。如果你喜欢这篇文章，请在下面的评论区告诉我，你想进一步探讨哪些主题。
Kanwal Mehreen 是一名机器学习工程师和技术作家，对数据科学以及人工智能与医学的交叉领域怀有深厚的激情。她合著了电子书《Maximizing Productivity with ChatGPT》。作为2022年亚太地区谷歌一代学者，她倡导多样性和学术卓越。她还被认可为Teradata科技多样性学者、Mitacs全球研究学者和哈佛WeCode学者。Kanwal是变革的坚定倡导者，她创立了FEMCodes以赋能STEM领域的女性。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区