SCAPE: Accurate and Efficient LLM Training with Extreme Sparse Communication

📄 arXiv: 2607.01678 📥 PDF

作者: Mingkai Zheng, Junlin Chen, Haotian Xie, Zhao Zhang

分类: cs.LG, cs.DC

发布日期: 2026-07-05

💡 一句话要点

提出SCAPE以解决大规模语言模型训练中的通信效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大规模语言模型 通信效率 分布式优化器 稀疏化 Adam优化器

📋 核心要点

  1. 现有的通信减少方法在大规模语言模型训练中面临梯度同步和参数重构开销增加的问题，尤其在高稀疏性下不稳定。
  2. SCAPE通过利用AdamS的第一矩的稳定性，采用基于统计的掩码生成方法，允许在不损失模型质量的情况下进行高效稀疏化。
  3. 实验表明，SCAPE在Llama-500M模型上减少了最多43.3%的训练时间，同时保持与稠密AdamW和AdamS相当的模型质量。

📝 摘要（中文）

通信在大规模语言模型（LLM）预训练中占据了越来越大的成本，尤其是在数据并行和分片训练方案下，梯度同步和参数重构的开销随着模型规模和系统规模的增加而增加。现有的通信减少方法要么对原始梯度进行稀疏化，这在高稀疏性下对现代Adam风格的优化器不稳定，要么对通信进行量化，其节省效果受到位宽的根本限制，并且通常会引入额外的运行时开销。本文提出了SCAPE，一种通信高效的分布式优化器，利用AdamS的第一矩的稳定性，允许在不损失LLM质量的情况下进行激进的稀疏化。SCAPE通过从第一矩统计中派生掩码，跨工作节点分配掩码生成，并延迟掩码使用以便与计算重叠，从而实现了优化。实验结果表明，SCAPE在保持模型质量的同时，显著提高了训练速度。

🔬 方法详解

问题定义：本文旨在解决大规模语言模型训练中的通信效率问题，现有方法在高稀疏性下对优化器的稳定性造成挑战。

核心思路：SCAPE利用AdamS的第一矩的稳定性，通过从第一矩统计中派生掩码，允许在不损失模型质量的情况下进行激进的稀疏化。

技术框架：SCAPE的整体架构包括掩码生成、掩码使用延迟和第二矩更新重构三个主要模块。掩码生成在多个工作节点上并行进行，以适应优化器的分片。

关键创新：SCAPE的核心创新在于通过第一矩统计生成掩码，避免了从原始梯度构建掩码的复杂性，并且通过延迟掩码使用实现计算与通信的重叠。

关键设计：SCAPE的设计包括对稀疏缓冲区的同步管理，确保在不增加额外通信开销的情况下，重构第二矩更新所需的量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Llama-500M模型的实验中，SCAPE实现了最多43.3%的训练时间减少，同时在90%和99%稀疏性下保持了训练稳定性和任务准确性。对于Llama-1.8B，SCAPE每步训练速度提升达3.26倍，相较于稠密的AdamS表现出显著优势。

🎯 应用场景

SCAPE的研究成果在大规模语言模型的训练中具有广泛的应用潜力，尤其是在需要高效通信的分布式系统中。其方法可以显著降低训练时间，提高模型训练的经济性和实用性，适用于自然语言处理、对话系统等领域。

📄 摘要（原文）

Communication increasingly dominates the cost of Large Language Model (LLM) pre-training, especially under data-parallel and sharded training schemes, where gradient synchronization and parameter reconstruction overhead increase with model size and system scale. Existing communication-reduction methods either sparsify raw gradients, which can be unstable for modern Adam-style optimizers at high sparsity, or quantize communication, whose savings are fundamentally bounded by bit width and often incur additional runtime overhead. We present SCAPE, a communication-efficient distributed optimizer for LLM training that exploits the stability of AdamS's first-moment to enable aggressive sparsification without loss of LLM quality. Instead of constructing masks from raw gradients, SCAPE derives them from first-moment-based statistics, partitions mask generation across workers to align with optimizer sharding, and delays mask usage by one step so that mask synchronization can overlap with computation. SCAPE also reconstructs the quantities required for second-moment updates from a single synchronized sparse buffer, avoiding an additional collective. We implement SCAPE in Megatron-LM and evaluate its convergence by pre-training GPT-345M on OpenWebText and Llama-500M on SlimPajama-6B using 32 NVIDIA GH200 GPUs on TACC Vista. In both models, SCAPE preserves training stability, validation loss, and downstream task accuracy under 90\% and 99\% sparsity. For Llama-500M, SCAPE reduces end-to-end pre-training wall-clock time by up to 43.3\% while maintaining model quality comparable to dense AdamW and AdamS. For Llama-1.8B, SCAPE achieves up to 3.26$\times$ speedup per step compared to dense AdamS.