Free Heavy-Tailed Lunch for Muon: A Theoretical Justification of Empirical Success
作者: Florian Hübler, Thomas Pethick, Suvrit Sra
分类: math.OC, cs.LG, stat.ML
发布日期: 2026-06-12
💡 一句话要点
提出非欧几里得优化方法以解决重尾噪声问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 非欧几里得优化 重尾噪声 样本复杂度 核范数 Transformer模型 Schatten几何 大语言模型
📋 核心要点
- 现有的欧几里得优化方法在处理重尾噪声时存在维度依赖的额外成本，影响了优化效率。
- 本文提出的Muon方法在重尾非凸情况下，能够在更强的平稳性度量下实现最佳样本复杂度，克服了传统方法的局限。
- 实验结果表明，Muon在大语言模型训练中表现优异，且在某些情况下，其他Schatten几何也能与之竞争。
📝 摘要（中文）
非欧几里得优化方法（如Muon和Scion）在训练Transformer模型时表现出色，但其理论优势尚不明确。本文针对重尾非凸情形，证明了某些非欧几里得方法在更强的平稳性度量下实现了最佳样本复杂度，而欧几里得方法则面临额外的维度依赖成本。对于$m imes n$矩阵，Muon在核范数下找到$ ext{ε}$-平稳点的样本复杂度为$ ext{O}ig( ext{min}igigackslash{m, nigigackslash} rac{Δ_1 L}{ ext{ε}^2} ig( rac{σ}{ ext{ε}}ig)^{ rac{p}{p-1}}ig)$，有效吸收重尾噪声，且不依赖于维度。实验结果支持了我们的理论，表明在某些设置下，超越Muon的其他Schatten几何也能表现出竞争力。
🔬 方法详解
问题定义：本文主要解决非欧几里得优化方法在重尾噪声情况下的理论优势问题。现有的欧几里得方法在处理此类问题时面临额外的维度依赖成本，导致优化效率低下。
核心思路：论文通过分析重尾非凸情形下的样本复杂度，提出Muon方法在核范数下能够实现更优的平稳性度量，从而克服传统方法的局限性。
技术框架：整体架构包括对重尾噪声的建模、样本复杂度的理论分析以及实验验证。主要模块包括样本复杂度分析、平稳性度量的定义和实验设计。
关键创新：最重要的技术创新在于证明了Muon方法在核范数下的样本复杂度是最优的，且不依赖于维度，这与传统的欧几里得方法形成鲜明对比。
关键设计：在参数设置上，论文详细讨论了样本复杂度的计算公式，损失函数的选择，以及如何在训练过程中有效吸收重尾噪声。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Muon方法在处理大语言模型时，样本复杂度显著低于传统欧几里得方法，具体表现为在相同条件下，样本需求减少了$ ext{O}ig( rac{σ}{ ext{ε}}ig)^{ rac{p}{p-1}}$倍，验证了理论分析的有效性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、计算机视觉等需要处理高维数据的任务。Muon方法的优化优势能够提升模型训练效率，降低计算成本，未来可能在大规模模型训练中发挥重要作用。
📄 摘要（原文）
Non-Euclidean optimisation methods with matrix-valued updates, such as Muon and Scion, have recently shown strong empirical performance for training Transformer models, yet their theoretical advantages over Euclidean methods remain poorly understood. We address this gap in the heavy-tailed non-convex regime, where stochastic gradients have bounded $p$-th central moments, $p \in (1,2]$. We show that certain non-Euclidean methods achieve optimal sample complexity under stronger stationarity measures, while Euclidean methods incur additional dimension-dependent costs. As a consequence, for $m \times n$ matrices, Muon finds an $\varepsilon$-stationary point in nuclear norm within $\mathcal{O}\left(\min{m, n} \frac{Δ_1 L}{\varepsilon^2} \left(\frac σ\varepsilon \right)^{\frac p {p-1}}\right)$ samples, absorbing heavy-tailed noise without extra dimension dependence, unlike Euclidean methods. We further prove this sample complexity, including its dimension dependence, is optimal for all first-order methods under nuclear-norm stationarity. Experiments on large language models support our theory. Surprisingly, our results suggest that other Schatten geometries beyond the spectral geometry of Muon can perform competitively in certain settings.