Tying the Loop -- Tied Expert Layers in Mixture-of-Experts Language Models

📄 arXiv: 2606.16825v1 📥 PDF

作者: Martin Jaggi

分类: cs.CL, cs.AI, cs.LG

发布日期: 2026-06-15

备注: Code available at https://github.com/epfml/looped-moe

💡 一句话要点

提出专家参数共享以降低Mixture-of-Experts模型内存占用

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: Mixture-of-Experts 专家参数共享 大型语言模型 内存优化 深度学习

📋 核心要点

  1. 现有的Mixture-of-Experts架构在内存使用上存在挑战，尤其是需要保存大量专家参数，影响训练效率。
  2. 本文提出的专家参数共享方法通过在连续变换器层之间共享专家参数，降低了内存占用，同时保持了层间的独立性。
  3. 实验结果显示，该方法在不显著降低模型性能的情况下，内存占用减少近2倍，提升了计算效率。

📝 摘要（中文）

Mixture-of-Experts (MoE) 架构通过每个token仅激活少量专家来有效扩展大型语言模型（LLMs），但在训练和推理时仍需保存全部参数，尤其是专家参数。为了解决这一问题，本文提出了专家参数共享（Expert Tying），该方法在连续的变换器层之间共享专家参数，同时保持独立的层间路由和注意力机制。实验表明，专家参数共享可以将内存占用减少近2倍，而几乎不影响困惑度或下游任务的质量。通过利用MoE路径中固有的参数冗余，该方法在计算与内存之间提供了有利的权衡，推动了下一代LLMs的高效训练与扩展。

🔬 方法详解

问题定义：本文旨在解决Mixture-of-Experts模型在训练和推理过程中对内存的高需求，尤其是专家参数的存储问题。现有方法需要保存全部专家参数，导致内存占用过高，限制了模型的扩展性。

核心思路：论文提出的专家参数共享方法通过在连续的变换器层之间共享专家参数，减少了内存占用，同时保持了每层的独立路由和注意力机制。这种设计利用了MoE路径中的参数冗余，优化了计算与内存的权衡。

技术框架：整体架构包括多个变换器层，每层通过独立的路由机制选择激活的专家，同时通过共享机制降低内存需求。主要模块包括专家选择、参数共享和注意力计算。

关键创新：最重要的创新点在于专家参数的共享机制，这与传统方法的独立专家参数存储形成鲜明对比。该方法有效减少了内存占用，同时保持了模型性能。

关键设计：在参数设置上，采用了共享的专家参数结构，并在损失函数中考虑了共享带来的影响。网络结构上，保持了变换器层的独立性，确保了模型的灵活性和可扩展性。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，采用专家参数共享后，内存占用减少近2倍，而在困惑度和下游任务质量上几乎没有显著下降。这一结果与传统的MoE架构相比，展示了显著的计算与内存效率提升，验证了该方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的训练和推理，尤其是在资源受限的环境中。通过降低内存占用，该方法可以使得更大规模的模型在普通硬件上运行，推动自然语言处理、对话系统等领域的进步。未来，该技术可能会影响更多基于深度学习的应用，提升其效率和可用性。

📄 摘要（原文）

Mixture-of-Experts (MoE) architectures efficiently scale Large Language Models (LLMs) by activating only a small fraction of their experts per token, yet the full parameter count - dominated by the expert parameters - must be held in training and inference memory. To address this, we introduce Expert Tying, an architectural modification that shares expert parameters across consecutive transformer layers while preserving independent, layer-wise routing and attention. We evaluate this approach across common, state-of-the-art architectures, including OLMoE, Qwen3, and DeepSeek-style MoEs. Our pretraining experiments demonstrate that tying experts can reduce memory footprint by almost 2x at virtually no degradation in perplexity or downstream quality. By exploiting the parameter redundancy inherent in MoE pathways, our method provides a highly favorable compute-to-memory trade-off, advancing efficient training and scaling of next-generation LLMs.