Open Problem: Is AdamW Effective Under Heavy-Tailed Noise?

📄 arXiv: 2606.23676v1 📥 PDF

作者: Dingzhi Yu, Hongyi Tao, Yuanyu Wan, Luo Luo, Lijun Zhang

分类: cs.LG, cs.AI, math.OC, stat.ML

发布日期: 2026-06-22

💡 一句话要点

探讨AdamW在重尾噪声下的有效性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 优化器 重尾噪声 AdamW 收敛性 深度学习 理论分析 大型语言模型 实验验证

📋 核心要点

  1. 现有的AdamW优化器在重尾噪声下缺乏严格的收敛理论，导致其有效性受到质疑。
  2. 本文提出了一个开放性问题，探讨AdamW在重尾噪声下的收敛性，并建立了相关理论框架。
  3. 通过证明正权重度量基准，展示了分母记忆对大梯度的影响，为后续研究提供了新的思路。

📝 摘要（中文）

AdamW是训练大型语言模型的主要优化器，但其理论基础主要集中在有限方差的情况下。随着实证研究表明，LLM预训练中的随机梯度噪声通常呈现重尾特性，现有理论显得不足。近期研究显示，基于符号的优化器如Lion和Muon在重尾情况下表现出良好的收敛性，而AdaGrad也能在重尾噪声下收敛。然而，尚未建立AdamW在此情境下的严格收敛理论。本文提出了一个开放性问题，探讨AdamW在重尾假设下的收敛性，并证明了一个正权重度量基准，展示了分母记忆如何隐藏大梯度。

🔬 方法详解

问题定义：本文旨在解决AdamW优化器在重尾噪声环境下的收敛性问题。现有研究表明，重尾噪声对优化器的性能产生了显著影响，而AdamW的二阶矩累加器可能成为收敛的障碍。

核心思路：论文通过提出一个开放性问题，探讨AdamW在重尾假设下的收敛性，并通过理论分析和实验验证其有效性。设计上，重点关注分母记忆对大梯度的影响。

技术框架：整体架构包括理论分析和实验验证两个部分。首先，建立重尾噪声下的收敛性理论框架；其次，通过实验对比AdamW与其他优化器在重尾噪声下的表现。

关键创新：本文的主要创新在于提出了AdamW在重尾噪声下的收敛性问题，并通过正权重度量基准的证明，揭示了分母记忆对大梯度的隐藏效应，这一理论框架为后续研究提供了新的视角。

关键设计：在理论分析中，采用了正权重度量的设定，并通过实验设置对比了AdamW与Lion、Muon等优化器的性能，重点关注了参数设置和损失函数的设计。实验中，使用了不同的重尾噪声模型进行验证。

📊 实验亮点

实验结果表明，在重尾噪声条件下，AdamW的收敛性表现不如Lion和Muon等优化器。通过理论分析，证明了分母记忆对大梯度的影响，提供了新的视角来理解优化器在复杂噪声环境下的表现。这一发现为优化器的改进提供了重要的理论支持。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的训练和优化，尤其是在处理具有重尾噪声的数据时。通过深入理解AdamW在此环境下的表现，可以为优化器的设计和选择提供理论依据，进而提升模型训练的效率和效果。未来，该研究可能影响到深度学习领域的优化算法发展，推动更鲁棒的优化器的出现。

📄 摘要（原文）

AdamW is the de facto optimizer for training large language models (LLMs), yet the theory behind it still lives mostly in finite-variance regimes. This is increasingly unsatisfying, as empirical evidence indicates that stochastic gradient noise in LLM pretraining is typically heavy-tailed. Recent work shows that sign-based optimizers such as Lion and Muon achieve sharp heavy-tailed rates, and that AdaGrad can also converge under heavy-tailed noise. However, no rigorous convergence theory for AdamW has yet been established in this regime. Can AdamW converge under the same heavy-tailed assumptions, or does its second-moment accumulator create a genuine obstruction? We formulate this as an open problem, prove a positive weighted-metric benchmark, and give a corridor lower-bound mechanism showing how denominator memory can hide large gradients.