Motif 3: Technical Report
作者: Junghwan Lim, Joon Son Chung, Sungmin Lee, Wai Ting Cheung, Gihun Cho, Minsu Ha, Sangho Kang, Beomgyu Kim, Dongseok Kim, Jangwoong Kim, Taehyun Kim, Taewhan Kim, Jeesoo Lee, Jeongdoo Lee, Junhyeok Lee, Dongpin Oh, Hyeyeon Cho, Dahye Choi, Jaeheui Her, Hanbin Jung, Changjin Kang, Minjae Kim, Youngrok Kim, Hyukjin Kweon, Hongjoo Lee, Yeongjae Park, Bokki Ryu
分类: cs.AI
发布日期: 2026-08-10
💡 一句话要点
提出Motif 3以提升语言模型的推理与长文本理解能力
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 混合专家模型 长文本理解 推理能力 多token预测 稀疏计算 强化学习 模型微调
📋 核心要点
- 现有语言模型在推理能力和长文本理解上存在不足，尤其在处理复杂任务时表现不佳。
- Motif 3通过引入混合专家架构和分组差异潜在注意力，提升了模型的专家容量和计算效率。
- 在广泛的评估中，Motif 3在长时间代理任务、数学推理和科学知识等方面表现出色，显示出与领先模型的竞争力。
📝 摘要（中文）
我们介绍了Motif 3，这是一种仅解码的混合专家语言模型，具有3140亿个参数和每个token激活132亿个专家。每个稀疏MoE层包含384个专家，每个token选择8个。Motif 3基于分组差异潜在注意力（GDLA），结合了分组差异注意力与多头潜在注意力的压缩键值表示。该架构还整合了修改后的流形约束超连接、专家特定的PolyNorm激活和多token预测，以提高优化稳定性、专家专业化和推理效率。我们在约12.5万亿个token上进行了预训练，涵盖了网络文档、STEM、代码、数学、多语言内容和领域专用语料库。专家平衡和数值稳定技术支持大规模稳定训练，而选择性MXFP8计算和通信、内存高效的融合内核以及窗口感知的上下文并行性使得训练上下文长度可达256K个token。后训练管道结合了通用监督微调、六个通过强化学习训练的专家教师、一个通过监督微调训练的软件工程教师，以及多教师在线蒸馏。最终的统一模型整合了推理、编码、工具使用、专业工作、长上下文理解、校准弃权和指令跟随等互补能力。
🔬 方法详解
问题定义：Motif 3旨在解决现有语言模型在推理和长文本理解中的不足，尤其是在复杂任务和长上下文处理中的性能瓶颈。
核心思路：通过引入混合专家架构和分组差异潜在注意力，Motif 3能够在保持计算效率的同时，显著提升模型的专家容量和推理能力。
技术框架：Motif 3的整体架构包括多个稀疏MoE层，每层包含384个专家，采用分组差异潜在注意力机制，结合多token预测和专家特定的激活函数，以增强模型的优化稳定性和推理效率。
关键创新：Motif 3的主要创新在于其独特的分组差异潜在注意力机制和稀疏专家选择策略，这与传统的全连接模型形成鲜明对比，显著提高了模型的计算效率和推理能力。
关键设计：模型采用了选择性MXFP8计算、内存高效的融合内核和窗口感知的上下文并行性，支持长达256K个token的上下文处理，同时通过专家平衡和数值稳定技术确保了大规模训练的稳定性。
🖼️ 关键图片
📊 实验亮点
在一系列评估中，Motif 3在长时间代理任务、数学推理和科学知识等方面表现优异，展现出与领先开放权重模型的竞争力，尤其在长上下文理解和复杂推理任务中取得了显著的性能提升。
🎯 应用场景
Motif 3在多个领域具有广泛的应用潜力，包括自然语言处理、代码生成、科学计算和多语言理解等。其强大的推理能力和长文本处理能力使其适用于复杂的任务场景，如智能助手、自动编程和专业文档分析等，未来可能对相关行业产生深远影响。
📄 摘要（原文）
We introduce Motif 3, a decoder-only Mixture-of-Experts language model with 314 billion total parameters and 13.2 billion activated per token. Each sparse MoE layer contains 384 routed experts, with eight selected per token. This fine-grained sparsity provides substantial expert capacity while limiting computation. Motif 3 is built around Grouped Differential Latent Attention (GDLA), which integrates grouped differential attention with the compressed key-value representation of Multi-head Latent Attention. The architecture further incorporates modified manifold-constrained hyper-connections, Expert Specific PolyNorm activations, and multi-token prediction to improve optimization stability, expert specialization, and inference efficiency. We pretrain Motif 3 on approximately 12.5 trillion tokens spanning web documents, STEM, code, mathematics, multilingual content, and domain-specialized corpora. Expert-balancing and numerical-stabilization techniques support stable training at scale, while selective MXFP8 computation and communication, memory-efficient fused kernels, and window-aware context parallelism enable training with context lengths up to 256K tokens. Our post-training pipeline combines general supervised fine-tuning, six specialist teachers trained with reinforcement learning, a software-engineering teacher trained with supervised fine-tuning, and Multi-teacher On-Policy Distillation. The resulting unified model consolidates complementary capabilities in reasoning, coding, tool use, professional work, long-context understanding, calibrated abstention, and instruction following. Across a broad evaluation suite, Motif 3 demonstrates competitive performance against leading open weight models, including strong results on long-horizon agentic tasks, mathematical reasoning, scientific knowledge, and hallucination-sensitive evaluation.