MegaScale: Scaling Large Language Model Training to More Than 10,000 GPUs

📄 arXiv: 2402.15627v1 📥 PDF

作者: Ziheng Jiang, Haibin Lin, Yinmin Zhong, Qi Huang, Yangrui Chen, Zhi Zhang, Yanghua Peng, Xiang Li, Cong Xie, Shibiao Nong, Yulu Jia, Sun He, Hongmin Chen, Zhihao Bai, Qi Hou, Shipeng Yan, Ding Zhou, Yiyao Sheng, Zhuo Jiang, Haohan Xu, Haoran Wei, Zhang Zhang, Pengfei Nie, Leqi Zou, Sida Zhao, Liang Xiang, Zherui Liu, Zhe Li, Xiaoying Jia, Jianxi Ye, Xin Jin, Xin Liu

分类: cs.LG, cs.DC

发布日期: 2024-02-23

💡 一句话要点

提出MegaScale以解决大规模语言模型训练效率与稳定性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大规模语言模型 训练效率 系统设计 稳定性 深度学习 GPU集群 模型优化

📋 核心要点

  1. 现有大规模语言模型训练方法在效率和稳定性上面临重大挑战，特别是在超过10,000个GPU的情况下。
  2. 本文提出的MegaScale系统通过全栈设计，优化算法与系统组件，提升训练效率和稳定性。
  3. 在12,288个GPU上训练175B LLM模型时，MegaScale实现了55.2%的MFU，相比基线提高了1.34倍。

📝 摘要（中文）

本文介绍了MegaScale的设计、实现及工程经验，这是一个用于在超过10,000个GPU上训练大规模语言模型（LLMs）的生产系统。在如此规模下训练LLMs面临前所未有的效率和稳定性挑战。我们采取了全栈方法，协同设计算法和系统组件，包括模型块和优化器设计、计算与通信重叠、操作符优化、数据管道和网络性能调优。为了解决大规模训练中出现的稳定性问题，我们开发了一套诊断工具，深入监控系统组件和事件，识别根本原因，并提出有效的容错技术。MegaScale在12,288个GPU上训练175B LLM模型时实现了55.2%的模型FLOPs利用率（MFU），相比Megatron-LM提高了1.34倍。我们分享了识别和修复故障及滞后问题的操作经验，希望通过阐述问题和分享系统视角的经验，激励未来的LLM系统研究。

🔬 方法详解

问题定义：本文旨在解决在超过10,000个GPU上训练大规模语言模型时出现的效率和稳定性问题。现有方法在大规模训练中常常面临稳定性不足和效率低下的痛点。

核心思路：MegaScale通过全栈设计，协同优化算法和系统组件，确保在长时间训练过程中保持高效率和稳定性。此设计思路旨在应对大规模训练中出现的复杂性和不确定性。

技术框架：MegaScale的整体架构包括多个主要模块：模型块设计、优化器设计、计算与通信重叠、操作符优化、数据管道和网络性能调优。各模块之间紧密协作，以实现高效的训练过程。

关键创新：MegaScale的关键创新在于其深度监控和诊断工具，这些工具能够实时监测系统组件和事件，识别根本原因并实现容错。这与现有方法的主要区别在于其对系统稳定性的深入关注和解决方案的系统性。

关键设计：在设计中，MegaScale采用了高效的损失函数和优化算法，优化了数据传输和计算的重叠，确保了在大规模训练中各个组件的高效协同工作。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，MegaScale在12,288个GPU上训练175B LLM模型时实现了55.2%的模型FLOPs利用率（MFU），相比于Megatron-LM提升了1.34倍。这一显著的性能提升展示了其在大规模训练中的有效性和优势。

🎯 应用场景

MegaScale的研究成果在大规模语言模型的训练中具有广泛的应用潜力，特别是在自然语言处理、机器翻译和对话系统等领域。通过提升训练效率和稳定性，该系统能够加速模型的开发和部署，推动相关技术的进步与应用。

📄 摘要（原文）

We present the design, implementation and engineering experience in building and deploying MegaScale, a production system for training large language models (LLMs) at the scale of more than 10,000 GPUs. Training LLMs at this scale brings unprecedented challenges to training efficiency and stability. We take a full-stack approach that co-designs the algorithmic and system components across model block and optimizer design, computation and communication overlapping, operator optimization, data pipeline, and network performance tuning. Maintaining high efficiency throughout the training process (i.e., stability) is an important consideration in production given the long extent of LLM training jobs. Many hard stability issues only emerge at large scale, and in-depth observability is the key to address them. We develop a set of diagnosis tools to monitor system components and events deep in the stack, identify root causes, and derive effective techniques to achieve fault tolerance and mitigate stragglers. MegaScale achieves 55.2% Model FLOPs Utilization (MFU) when training a 175B LLM model on 12,288 GPUs, improving the MFU by 1.34x compared to Megatron-LM. We share our operational experience in identifying and fixing failures and stragglers. We hope by articulating the problems and sharing our experience from a systems perspective, this work can inspire future LLM systems research.