您可以在笔记本电脑上运行的 7 大小型语言模型

📢 转载信息

原文链接：https://machinelearningmastery.com/top-7-small-language-models-you-can-run-on-a-laptop/

原文作者：Jason Brownlee

在笔记本电脑上运行大型语言模型（LLMs）曾是一个遥不可及的梦想。然而，随着小型语言模型（SLMs）的出现，情况正在发生变化。这些模型在保持高性能的同时，对内存和计算资源的要求要低得多。

SLMs 的兴起使得在本地设备（如个人笔记本电脑）上运行先进的生成式 AI 成为可能，从而提高了隐私性、降低了延迟并减少了对昂贵云计算资源的依赖。它们特别适合需要快速、本地处理能力的应用场景。

什么是小型语言模型（SLMs）？

小型语言模型（SLMs）通常指的是参数量在 10 亿到 100 亿之间的 LLMs。尽管它们比 Llama 3 70B 或 GPT-4 这样的大型模型要小得多，但通过创新的架构设计和高质量的训练数据，它们在许多任务上的表现却出奇地出色。

SLMs 的关键优势包括：

• 低资源需求： 可以在消费级硬件（如配备 16GB 或 32GB RAM 的笔记本电脑）上运行。
• 快速推理： 由于模型较小，响应速度通常比大型模型更快。
• 隐私保护： 数据不需要离开本地设备进行处理。
• 边缘部署： 适合嵌入到移动应用或本地桌面工具中。

您可以在笔记本电脑上运行的 7 大小型语言模型

以下是当前最值得关注的 7 款可以在标准笔记本电脑上有效运行的 SLMs。请注意，运行这些模型通常需要使用量化技术（如 GGUF 格式）和像 Ollama 这样的本地推理工具。

1. Phi-3 Mini (Microsoft)

微软的 Phi-3 Mini 是目前最引人注目的 SLM 之一。它拥有 38 亿参数，但在许多基准测试中的表现却与更大的模型（如 Llama 2 7B）相当，甚至超越了它们。它经过“教科书级”数据的精心训练，使其在逻辑推理和遵循指令方面表现出色。

关键特点：

• 参数量：3.8B
• 优势：在逻辑推理和指令遵循方面表现出色。
• 适用场景：需要高精度、低延迟的本地任务。

2. Gemma 2B (Google)

Google 推出的 Gemma 系列模型是基于其更强大的 Gemini 模型架构构建的。Gemma 2B 是该系列中最小的版本，专为在资源受限的环境中进行负责任的 AI 应用而设计。它是一个强大的基准模型。

关键特点：

• 参数量：2B
• 优势：基于 Google 的尖端技术，注重安全性和责任感。
• 适用场景：快速原型设计和嵌入式系统。

3. Qwen 1.5 1.8B (Alibaba)

阿里云的 Qwen 1.5 系列提供了多个尺寸，其中 1.8B 版本非常适合本地运行。Qwen 模型以其强大的多语言能力而闻名，在非英语任务上的表现尤其突出。

关键特点：

• 参数量：1.8B
• 优势：出色的多语言支持和编码能力。
• 适用场景：需要处理多种语言的本地应用。

4. StableLM 3B (Stability AI)

StableLM 3B 是 Stability AI 的开源贡献之一。它提供了一个强大的、完全可商用的基础模型，非常适合希望在自己的数据集上进行微调或集成到自定义解决方案中的开发者。

关键特点：

• 参数量：3B
• 优势：开源、社区驱动，易于二次开发。
• 适用场景：模型定制和研究。

5. TinyLlama 1.1B

顾名思义，TinyLlama 是一个致力于“微小”的模型。它拥有 11 亿参数，是列表中最小的模型之一，但它在 3 万亿个 Token 上进行了训练，这使得它在这么小的尺寸下展现出令人惊讶的通用能力。

关键特点：

• 参数量：1.1B
• 优势：极小的资源占用，速度极快。
• 适用场景：对速度要求极高的应用，如实时聊天机器人。

6. OLMo 1B (AI2)

由 Allen Institute for AI (AI2) 开发的 OLMo 系列模型，强调透明度和可复现性。OLMo 1B 版本允许用户在没有高成本的情况下研究 LLM 的内部工作原理，这对于学术界和想深入理解模型的开发者来说非常宝贵。

关键特点：

• 参数量：1B
• 优势：训练过程完全透明，便于研究和审计。
• 适用场景：AI研究和模型可解释性分析。

7. Mistral 7B (Mistral AI)

虽然 Mistral 7B 在参数量上略微超过了传统 SLM 的上限（许多人将其视为小型 LLM 的阈值），但它因其极高的效率和性能而必须被提及。在 4 位量化后，它可以在 16GB RAM 的笔记本电脑上流畅运行，并且其性能经常能媲美 Llama 2 13B 模型。

关键特点：

• 参数量：7B
• 优势：在同等规模中性能极强，使用了分组查询注意力（GQA）等高效技术。
• 适用场景：需要顶级性能但仍受限于消费级硬件的专业任务。

如何在本地运行这些模型？

要将这些 SLM 部署到您的笔记本电脑上，您通常需要依赖量化和专门的运行时环境。

量化： 模型的权重通常从 16 位浮点数（FP16）压缩到 4 位或 5 位整数。这能大幅减少内存占用，同时对性能影响较小。最流行的格式是 GGUF。

推理框架：

1. Ollama： 这是一个用户友好的工具，可以轻松地下载、配置和运行 GGUF 格式的模型，提供了一个简单的 API 接口。
2. LM Studio 或 Jan： 具有图形界面的应用程序，让用户无需命令行即可运行本地模型。
3. llama.cpp： 底层 C/C++ 库，提供了最高效的 CPU/GPU 混合推理，许多其他工具都基于它。

例如，使用 Ollama 运行 Mistral 7B 的基本步骤如下：

ollama run mistral:7b

系统要求提示： 对于 7B 模型，建议至少拥有 16GB 统一内存（对于 Apple Silicon M 系列芯片）或 16GB 内存和一张中端 GPU（对于 Windows/Linux 系统）。较小的模型（如 3B 或更小）在纯 CPU 上运行也相当流畅。

总结

小型语言模型正在重塑 AI 部署的格局。它们让先进的自然语言处理能力触手可及，无需依赖大型数据中心。无论是为了增强隐私、降低成本，还是仅仅为了享受离线使用的自由，Phi-3 Mini、Gemma 2B 和 Mistral 7B 等 SLMs 都是值得关注的强大选择。随着硬件和模型技术的持续进步，未来在本地设备上运行更强大的 AI 只是时间问题。

🚀 想要体验更好更全面的AI调用？

欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。