Instella-MoE Technical Report

📄 arXiv: 2609.00791v1 📥 PDF

作者: Jiang Liu, Sudhanshu Ranjan, Prakamya Mishra, Yonatan Dukler, Gowtham Ramesh, Jialian Wu, Ximeng Sun, Wen Xie, Chaojun Hou, Vikram Appia, Zhenyu Gu, Zicheng Liu, Emad Barsoum

分类: cs.CL, cs.AI

发布日期: 2026-09-01

💡 一句话要点

提出Instella-MoE以提升大规模语言模型训练效率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 混合专家模型 稀疏激活 语言模型 高效训练 多任务学习

📋 核心要点

  1. 现有的语言模型在训练效率和推理性能上存在瓶颈，尤其是在大规模参数设置下。
  2. Instella-MoE通过结合稀疏激活设计和创新的架构，提出了一种高效的训练和推理方法。
  3. 该模型在标准基准测试中平均得分76.7，超越了多个现有开放模型，显示出显著的性能提升。

📝 摘要（中文）

在本研究中，我们介绍了Instella-MoE，这是一种完全开放的混合专家（MoE）语言模型，具有160亿总参数和每个token 28亿活跃参数，完全从头开始在AMD Instinct MI300X和MI325X GPU上训练。Instella-MoE结合了稀疏激活的MoE设计与架构和系统级创新，包括门控多头潜在注意力（Gated MLA）和FarSkip-Collective连接，能够实现高效的大规模训练和推理。该模型通过多阶段管道开发，包括预训练、中期训练、长上下文扩展、基于反馈的数据精细调整、直接偏好优化和基于多教师在线策略蒸馏的强化学习。Instella-MoE在标准预训练基准上平均得分为76.7，超越了包括OLMo-3-7B、SmolLM3-3B和OLMoE-1B-7B在内的先前完全开放模型，同时在可比活跃参数规模下与开放权重MoE和稠密基线保持竞争力。最终的Think检查点在指令跟随、推理、数学、编码和聊天基准上平均得分为73.2，超越了在评估中具有可比或更大活跃参数计数的完全开放和开放权重模型。为了支持透明和可重复的研究，我们发布了完整的Instella-MoE模型流程，包括模型权重、训练配置、数据混合和训练代码。这些贡献确立了Instella-MoE作为高效、高性能MoE模型和可重复研究的强大、完全开放的基础。

🔬 方法详解

问题定义：本论文旨在解决现有语言模型在大规模训练和推理中的效率瓶颈，尤其是在参数激活方面的不足。现有方法往往无法充分利用稀疏激活的优势，导致计算资源浪费。

核心思路：Instella-MoE的核心思想是结合稀疏激活的混合专家设计与多项架构创新，以提高训练和推理的效率。通过引入门控多头潜在注意力机制和FarSkip-Collective连接，模型能够在保持高性能的同时，减少计算负担。

技术框架：该模型的开发采用多阶段管道，包括预训练、中期训练、长上下文扩展、监督微调、直接偏好优化和基于多教师的在线策略蒸馏。每个阶段都针对特定的训练目标进行优化，以确保模型的高效性和准确性。

关键创新：Instella-MoE的主要创新在于其稀疏激活机制和新颖的连接方式，这使得模型在处理大规模数据时能够高效利用计算资源，显著提升了训练速度和推理性能。

关键设计：在模型设计中，采用了特定的参数设置和损失函数，以优化模型在不同任务上的表现。此外，网络结构的设计考虑了多头注意力机制的有效性，确保了模型在多任务学习中的适应性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在标准预训练基准上，Instella-MoE平均得分为76.7，超越了OLMo-3-7B、SmolLM3-3B和OLMoE-1B-7B等多个开放模型。此外，最终的Think检查点在指令跟随、推理等任务上平均得分73.2，显示出在可比活跃参数规模下的显著性能优势。

🎯 应用场景

Instella-MoE可广泛应用于自然语言处理领域，包括文本生成、对话系统、代码生成等任务。其高效的训练和推理能力使其在实际应用中具备更好的响应速度和准确性，推动了智能助手和自动化工具的发展。未来，随着模型的进一步优化，Instella-MoE有望在更多复杂场景中发挥重要作用。

📄 摘要（原文）

In this work, we introduce Instella-MoE, a fully open Mixture-of-Experts (MoE) language model with 16 billion total parameters and 2.8 billion active parameters per token, trained entirely from scratch on AMD Instinct MI300X and MI325X GPUs. Instella-MoE combines a sparsely activated MoE design with architectural and system-level innovations, including Gated Multi-head Latent Attention (Gated MLA) and FarSkip-Collective connectivity, enabling efficient large-scale training and inference. The model is developed through a multi-stage pipeline comprising pre-training, mid-training, long-context extension, supervised fine-tuning with feedback-driven data curation, direct preference optimization, and reinforcement learning with Multi-Teacher On-Policy Distillation. Instella-MoE achieves an average score of 76.7 across standard pre-training benchmarks, outperforming prior fully open models including OLMo-3-7B, SmolLM3-3B, and OLMoE-1B-7B, while remaining competitive with open-weight MoE and dense baselines at comparable active-parameter scales, including Moonlight-16B-A3B and Qwen3.5-4B. After post-training, our final Think checkpoint achieves an average score of 73.2 across instruction-following, reasoning, math, coding, and chat benchmarks, outperforming both fully open and open-weight models with comparable or larger active parameter counts in our evaluation. To support transparent and reproducible research, we release the complete Instella-MoE model flow, including model weights, training configurations, data mixtures, and training code. Together, these contributions establish Instella-MoE a strong, fully open foundation for efficient, high-performing MoE models and reproducible research.