Pretraining Data Scale Reverses the Muon-AdamW Fine-Tuning Gap

📄 arXiv: 2611.03633v1 📥 PDF

作者: Catherine Li, Jingchu Gai, Andrej Risteski, Jacob Mitchell Springer, Aditi Raghunathan

分类: cs.LG

发布日期: 2026-11-02

💡 一句话要点

研究发现预训练数据规模逆转Muon-AdamW微调差距

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 优化器 微调 大型语言模型 边际-扩散比 预训练数据 性能比较 机器学习

📋 核心要点

  1. 现有的优化器在大型语言模型的微调阶段表现不一，尤其是Muon与AdamW之间的性能差异尚未明确。
  2. 论文提出通过引入边际-扩散比来分析微调过程中的优化器表现，揭示了数据规模对优化器性能的影响。
  3. 实验结果表明，在大规模预训练数据下，AdamW在微调后的表现优于Muon，且随着模型规模的增加，优势愈加明显。

📝 摘要（中文）

Muon最近被认为是预训练大型语言模型的有前景的优化器，相较于AdamW在最小化预训练损失方面具有加速优势。然而，尚不清楚Muon的优势在微调后是否依然存在。本文研究了Muon与AdamW的下游表现，发现一个惊人的趋势：在足够大的预训练数据预算下，AdamW在微调后超越Muon。此外，随着模型规模的增加，AdamW在逐渐较小的预训练标记-参数比下超越Muon。为了解释这种逆转，本文引入了边际-扩散比，衡量正确logit相对于错误logit的距离与错误logit的扩散程度。在语言模型中，小数据预算下Muon的边际-扩散比更大，而大数据预算下AdamW的边际-扩散比更大，反映了微调趋势。

🔬 方法详解

问题定义：本文要解决的是在大型语言模型微调阶段，Muon与AdamW优化器的性能差异及其原因。现有研究未能清晰阐明在不同数据规模下这两种优化器的表现。

核心思路：论文的核心思路是将微调视为输出的扰动，通过引入边际-扩散比来解释不同优化器在不同数据预算下的表现差异。

技术框架：整体架构包括对Muon与AdamW在不同数据预算下的性能评估，分析其边际-扩散比，并通过线性关联记忆模型进行理论证明和模拟实验。

关键创新：最重要的技术创新点在于引入边际-扩散比这一新指标，揭示了在不同数据规模下优化器性能的逆转现象，与现有方法的本质区别在于关注微调过程中的输出扰动。

关键设计：在实验中，设置了不同的预训练数据规模和模型参数，采用标准的损失函数进行训练，并通过模拟实验验证边际-扩散比的理论推导。具体参数设置和网络结构细节在论文中进行了详细描述。

📊 实验亮点

实验结果显示，在大规模预训练数据下，AdamW在微调后的性能超越Muon，尤其是在模型规模增大时，AdamW的优势愈加明显。具体而言，AdamW在较小的预训练标记-参数比下也能超越Muon，验证了边际-扩散比的理论推导。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器翻译和对话系统等，能够为优化大型语言模型的训练过程提供新的思路和方法。未来，随着数据规模的不断扩大，理解不同优化器的表现将对模型的实际应用产生重要影响。

📄 摘要（原文）

Muon has recently emerged as a promising optimizer for pretraining large language models, offering a speedup over AdamW in minimizing pretraining loss. However, it remains unclear whether Muon's advantage persists after fine-tuning. In this paper, we study the downstream behavior of Muon and AdamW and uncover a surprising trend: beyond a sufficiently large pretraining data budget, AdamW outperforms Muon after fine-tuning. Moreover, as model size increases, AdamW overtakes Muon at progressively smaller pretraining token-parameter ratios. To explain this reversal, we view fine-tuning as a perturbation of the outputs and introduce the margin-to-spread ratio, which measures how far the correct logit lies above the wrong ones relative to how widely the wrong logits are spread. In language models, Muon has the larger margin-to-spread ratio at small data budgets and AdamW at large ones, mirroring the fine-tuning trend. In a linear associative memory, we prove that after one update the margin-to-spread ratio of gradient descent gains on that of Muon as the data budget grows, and simulations show that this trend persists after extended training.