FoMoE: Breaking the Full-Replica Barrier with a Federation of MoEs
作者: Lorenzo Sani, Zeyu Cao, Meghdad Kurmanji, Alex Iacob, Andrej Jovanovic, Yan Gao, Wanru Zhao, Nicholas D. Lane
分类: cs.LG, cs.AI, cs.DC, eess.SY
发布日期: 2026-06-17
💡 一句话要点
提出FoMoE以打破全复制限制，实现专家层分布式训练
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 混合专家 分布式训练 大规模模型 通信优化 内存管理
📋 核心要点
- 现有方法如DiLoCo和Photon在地理分布的弱连接数据中心中扩展时，仍需在每个站点保留完整模型副本，导致内存和通信开销过大。
- FoMoE通过在工作节点之间分配专家层，打破全复制限制，采用部分专家复制以降低通信成本，提升训练效率。
- 实验结果表明，FoMoE在通信成本上比高效基线降低了1.42倍，相较于DDP降低了45.44倍，且通过新颖的跳过令牌机制实现了1.4倍的吞吐量提升。
📝 摘要（中文）
大规模预训练语言模型（LLMs）通常需要大规模基础设施和紧密耦合的硬件加速器。尽管模型和数据集规模的增加仍然是性能提升的主要驱动因素，但混合专家（MoEs）架构通过将参数数量与计算成本解耦，最近取得了最先进的结果。FoMoE系统通过在工作节点之间分配专家层，打破了全复制范式，显著降低了通信成本和内存开销，并在多个实验中展示了其在大规模配置下的有效性。
🔬 方法详解
问题定义：论文要解决的问题是现有的分布式训练方法在地理分布的数据中心中需要完整模型副本，导致内存和通信开销过大。
核心思路：FoMoE的核心思路是通过在不同工作节点之间分配专家层，打破全复制的限制，从而实现更高效的分布式训练。此设计旨在减少通信成本和内存占用，同时保持模型性能。
技术框架：FoMoE的整体架构包括多个工作节点，每个节点只保留部分专家层。系统通过部分专家复制和跳过令牌机制来优化数据传输和计算效率。
关键创新：FoMoE的主要创新在于其部分专家复制策略，显著降低了对内存的需求，并减少了节点间的通信开销。这一方法与传统的全复制方法本质上不同，后者需要在每个节点上存储完整模型。
关键设计：在设计中，FoMoE采用了跳过令牌机制以提高吞吐量，并通过系统建模预测在100B规模配置下的通信和内存效益。具体参数设置和损失函数的选择也经过精心调整，以确保训练的稳定性和效率。
🖼️ 关键图片
📊 实验亮点
FoMoE在实验中表现出色，通信成本比高效基线降低了1.42倍，相较于DDP降低了45.44倍。同时，通过跳过令牌机制，吞吐量提升达1.4倍，展示了其在大规模配置下的有效性和优势。
🎯 应用场景
FoMoE的研究成果具有广泛的应用潜力，尤其在需要大规模语言模型的场景中，如自然语言处理、对话系统和智能助手等。通过降低资源消耗，FoMoE能够使更多组织和研究机构能够利用大规模模型进行创新，推动人工智能技术的发展。
📄 摘要（原文）
Pre-training Large Language Models (LLMs) typically demands large-scale infrastructure with tightly coupled hardware accelerators. While increasing model and dataset scale remains the dominant driver of performance, Mixture-of-Experts (MoEs) architectures have recently achieved state-of-the-art results by decoupling parameter count from computational cost. This efficiency enables training massive models on constrained compute budgets, yet it typically requires the high-speed interconnects of a single datacenter. To overcome these physical limits, recent approaches such as DiLoCo and Photon use low-communication data-parallel methods to enable scaling across geographically distributed, weakly connected data centers. However, these methods suffer from a fundamental inefficiency: they require full model replicas at every site, which imposes prohibitive memory constraints and communication overheads. In this work, we introduce FoMoE, a system that breaks the full-replica paradigm by partitioning expert layers across workers. We demonstrate that FoMoE: (I) reduces communication costs by up to 1.42x over efficient baselines and 45.44x over DDP via partial expert replication in the studied regimes; (II) achieves empirical throughput speedups of up to 1.4x through a novel skip-token mechanism; and (III) shows stable routing in the trained proxy regimes and projects the communication/memory benefits to 100B-scale configurations through system modelling.