📢 转载信息
原文作者：Microsoft Research
我们很高兴地宣布 DION（Distributed Orthonormal Update）的发布，这是一种新型的优化器，旨在解决大规模模型训练中优化器状态（optimizer states）的内存瓶颈问题。
在当今的大规模深度学习模型训练中，优化器状态（如 Adam 中的矩估计）的内存开销通常是模型参数本身内存需求的数倍。随着模型规模的不断扩大，尤其是在分布式训练场景中，这已成为一个重大的挑战。DION 提出了一种革命性的方法来解决这个问题，它通过将优化器状态表示为正交归一化（orthonormalized）的低秩矩阵来显著减少内存占用。
DION 如何工作
DION 的核心思想是利用 正交归一化 来压缩和维护优化器状态。传统的优化器，如 Adam，需要存储大量的梯度矩估计，这些估计值随着训练的进行而累积，导致内存使用量巨大。
DION 采用了一种创新的“分布式正交归一化更新”机制：
- 低秩表示： 优化器状态被建模为一个低秩矩阵，它通过一组正交基向量来表示。
- 增量更新： 每次梯度更新后，这些基向量会被局部更新，并使用 Householder 变换（或类似的正交变换）来保持它们的正交性。
- 内存效率： 由于只需要存储一组紧凑的正交基向量，DION 极大地减少了优化器状态所需的内存，使得训练超大型模型成为可能，尤其是在内存受限的环境中。
关键优势
DION 相较于现有技术具有显著的优势：
1. 内存效率
DION 显著降低了训练大型模型的内存足迹。在某些场景下，内存节省幅度可以达到 数倍，这使得研究人员和工程师能够在更少的 GPU 内存上训练更大、更复杂的模型。
2. 分布式兼容性
优化器状态的更新是分布式的。这意味着即使在多设备或多节点训练中，DION 也能高效地管理和同步状态，减少了通信开销。
3. 性能与收敛性
尽管采用了压缩表示，实验表明 DION 在保持与标准优化器（如 Adam）相似的收敛速度和最终性能方面表现出色。这种平衡确保了在节省内存的同时，不会牺牲模型的训练质量。
工具与资源
我们发布了 DION 优化器的开源实现，以便社区可以轻松地将其集成到现有的训练框架中。这是一个可以显著扩展现有模型训练能力的强大工具。
DION 优化器工具：
结论
DION 代表了优化技术领域的一个重要进步。通过引入分布式正交归一化更新的概念，我们为在未来继续扩展模型规模铺平了道路，解决了长期存在的内存瓶颈问题。我们鼓励研究人员和开发者探索 DION，并在下一代大规模模型训练中应用这一创新技术。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区