Gemini：分布式训练系统的新突破

亚马逊AWS和莱斯大学的研究人员推出了一种名为Gemini的新型分布式训练系统，旨在重新定义大规模深度学习模型中的故障恢复。Gemini通过利用CPU内存来确保前所未有的故障恢复速度，解决了高恢复成本和有限检查点存储容量的挑战。

背景与挑战

随着模型规模的不断扩大，如拥有5400亿参数的PaLM模型，训练失败的情况也随之增加。例如，OPT-175B模型的训练过程中就出现了大量失败案例。Gemini通过引入一种分布式训练系统，利用CPU内存的高带宽，解决了大规模模型训练中的故障恢复问题。

核心创新

1. CPU内存检查点：Gemini使用CPU内存进行高效故障恢复，显著提高了恢复速度。
2. 调度技术与检查点放置：为了减少干扰，Gemini提供了通信调度技术和近乎最优的检查点放置方案。
3. 系统架构：Gemini的系统架构包括检查点创建模块和故障恢复模块，专门设计用于在分布式训练中优化故障恢复开销。

与现有解决方案的对比

与PyTorch和TensorFlow等框架不同，Gemini采用了一种全新的策略，克服了早期解决方案在带宽和存储方面的限制，这些限制曾影响检查点频率和模型保真度。

• 检查点频率：Gemini在CPU内存中的检查点频率高于DeepFreeze和CheckFreq等解决方案。
• 故障恢复：Gemini使用冗余检查点进行故障恢复，与Diskless checkpointing和FTCCharm++等方法不同。

实验结果

实验结果显示，Gemini的故障恢复速度比现有解决方案快13倍。未来，Gemini计划扩展到各种并行策略和加速器上。

技术基础

Gemini基于DeepSpeed构建，利用ZeRO-3设置进行分布式训练，并使用Amazon EC2自动扩展组管理GPU模型状态。这一技术标志着深度学习领域的一次重大飞跃。

结论

Gemini通过创新的CPU内存检查点和优化的系统架构，显著提高了大规模深度学习模型中的故障恢复速度，为未来的分布式训练系统设定了新的标准。