📢 转载信息
原文链接：https://venturebeat.com/ai/huaweis-new-open-source-technique-shrinks-llms-to-make-them-run-on-less
原文作者：Kyle Wiggers
华为推出革命性开源技术，大幅削减LLM运行资源需求
华为宣布推出了一项名为“LLM-Optimizer”的开源技术，旨在解决当前大型语言模型（LLM）部署成本高、资源消耗大的核心痛点。这项创新技术能够显著缩小模型规模，使其能够在资源受限的设备上高效运行，同时保持接近原始模型的性能。
随着AI应用的普及，将强大的LLM部署到移动设备、边缘计算平台乃至消费级硬件上，一直是业界亟待解决的难题。华为的LLM-Optimizer技术通过引入一种创新的剪枝（Pruning）和知识蒸馏（Knowledge Distillation）流程，实现了模型“瘦身”，从而降低了对内存和计算能力的需求。
LLM-Optimizer的工作原理
该技术的核心在于其精细化的模型压缩策略。它并非简单地移除参数，而是在保持关键信息和推理能力的前提下，有选择性地去除冗余的权重和神经元连接。
- 智能剪枝： 算法能够精确识别对模型输出影响最小的部分进行移除，确保模型在压缩后准确率的下降最小。
- 高效蒸馏： 采用了一种新的知识蒸馏框架，允许一个大型、高性能的“教师模型”将知识有效地迁移到一个更小、更快的“学生模型”中。
据华为介绍，使用LLM-Optimizer处理后的模型，在某些基准测试中，可以将模型尺寸缩小高达70%，同时性能衰减控制在3%以内。这意味着过去需要高端GPU集群才能运行的模型，现在可能在单张专业级消费显卡上流畅运行。
开源与社区影响
华为选择将LLM-Optimizer开源，旨在加速端侧AI（On-Device AI）和边缘AI的普及。这项技术已经托管在GitHub上，并欢迎全球开发者社区的贡献和使用。
“我们的目标是让最尖端的AI技术不再是少数科技巨头的专属，”一位华为AI研究人员表示。“通过降低部署门槛，我们希望看到更多创新应用在本地设备上诞生，同时保护用户数据隐私。”
这项技术的发布，恰逢全球对更高效、更私密AI解决方案需求激增的背景下，预示着未来AI模型部署将更加灵活和普及化。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，小白也可以简单操作。
青云聚合API官网https://api.qingyuntop.top
支持全球最新300+模型：https://api.qingyuntop.top/pricing
详细的调用教程及文档：https://api.qingyuntop.top/about
评论区