MUON-RT Reusing the Teacher's Trajectory for Momentum-Free Muon for LLM Self-Distillation

📄 arXiv: 2610.41104v1 📥 PDF

作者: Aryan Das, Vinay Kumar Verma, Aakansha Mishra

分类: cs.LG, cs.AI, cs.CL, stat.ML

发布日期: 2026-10-30

备注: Under Submission

💡 一句话要点

提出Muon-RT以解决大语言模型的动量缓冲问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自蒸馏 大语言模型 动量缓冲 内存优化 模型训练 准确率提升 指数移动平均 教师-学生模型

📋 核心要点

  1. 现有自蒸馏方法在大语言模型中使用动量缓冲区，导致持久内存消耗过高。
  2. 提出Muon-RT，通过重用教师-学生位移，消除动量缓冲区，降低内存占用。
  3. 实验结果显示，Muon-RT在多个基准上显著提高了模型的准确率，同时减少了内存需求。

📝 摘要（中文）

自蒸馏方法在大语言模型中使用指数移动平均（EMA）教师，已保留学生更新的历史。然而，Muon仍然存储单独的动量缓冲区，增加了持久训练内存。我们提出了Muon-RT，通过重用教师-学生位移来消除隐藏权重矩阵的动量缓冲区。实验表明，该位移编码了应用更新的指数加权历史，并在局部模型下平滑了时间上不相关的噪声。Muon-RT在Qwen2.5-7B-Instruct上的自蒸馏微调中，相较于AdamW提高了2.6个百分点，且持久内存减少42%；相较于动量Muon提高了5.4个百分点，持久内存减少27%。在Olmo-3-7B-Instruct上的自蒸馏策略优化中，准确率提高了2.0个百分点。

🔬 方法详解

问题定义：现有的自蒸馏方法在大语言模型中使用动量缓冲区，导致持久内存消耗过高，影响训练效率和模型性能。

核心思路：Muon-RT通过重用教师-学生位移，消除动量缓冲区，利用位移编码的指数加权历史来平滑更新过程，从而提高模型的训练效果。

技术框架：Muon-RT的整体架构包括教师-学生位移的重用、径向分量的去除、谱归一化以及与当前梯度的混合，结合Newton-Schulz正交化过程。

关键创新：最重要的创新在于通过重用教师-学生位移来消除动量缓冲区，这一设计显著降低了内存消耗，同时提升了模型的收敛性和准确性。

关键设计：在参数设置上，Muon-RT采用了谱归一化技术，并在更新过程中引入了正交化步骤，以确保梯度更新的稳定性和有效性。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，Muon-RT在Qwen2.5-7B-Instruct上相较于AdamW提高了2.6个百分点的准确率，同时持久内存减少42%；相较于动量Muon提高了5.4个百分点，持久内存减少27%。在Olmo-3-7B-Instruct上，准确率也提高了2.0个百分点，验证了其有效性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其是在需要高效训练大规模语言模型的场景中，如自然语言处理、对话系统和智能助手等。通过降低内存需求，Muon-RT能够使得在资源受限的环境中训练大型模型成为可能，推动相关领域的研究与应用发展。

📄 摘要（原文）

Self-distillation methods for large language models with an exponential moving average (EMA) teacher already retain a history of student updates. Muon nevertheless stores a separate momentum buffer, increasing persistent training memory. We propose Muon with Reused Teacher (Muon-RT), which reuses the teacher-student displacement to eliminate momentum buffers for hidden weight matrices. We show that this displacement encodes an exponentially weighted history of applied updates and smooths temporally uncorrelated noise under a local model. Muon-RT removes its radial component, normalizes it spectrally, and mixes it with the current gradient after Newton-Schulz (NS) orthogonalization. Under explicit regularity and alignment assumptions, we establish linear contraction of an expected objective-gap bound toward a residual error level. With Self-Distillation Fine-Tuning (SDFT) on Qwen2.5-7B-Instruct, Muon-RT improves average accuracy over AdamW by 2.6 points with 42% less persistent memory, and over momentum Muon by 5.4 points with 27% less persistent memory. With Self-Distillation Policy Optimization (SDPO) on Olmo-3-7B-Instruct, it improves average accuracy over AdamW by 2.0 points.