Aligning Training and Rollout Policies for End-to-End FP4 RL on Mixture-of-Experts LLMs

📄 arXiv: 2611.04376v1 📥 PDF

作者: Hei Yi Mak, Hoang Le, Mehran Taghian Jazi, Yunke Peng, Huan Lin, Zhengzhi Tang, Zhexu Liu, Yao Wang, Yaoyuan Wang, Anandharaju Durai Raju, Tanzila Rahman

分类: cs.LG, cs.AI

发布日期: 2026-11-03

💡 一句话要点

提出MoeResQ以解决MoE模型中FP4 RL训练与推理不一致问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 混合专家 强化学习 低精度量化 量化恢复 大语言模型 训练推理一致性 对称性

📋 核心要点

  1. 现有FP4 RL方法在MoE模型中未能有效提升性能，主要由于训练与推理策略不一致。
  2. 提出MoeResQ，通过在训练和推理侧施加对称的恢复技术，解决了策略对称性问题。
  3. 实验结果表明，MoeResQ显著改善了训练推理一致性，准确性接近全精度水平。

📝 摘要（中文）

本研究探讨了针对混合专家（MoE）大语言模型的端到端FP4强化学习（RL）后训练方法。尽管现有FP4 RL方法在稠密模型中有效，但在MoE设置下未能改善基线性能。我们分析发现，MoE特有的路由机制导致训练与推理策略对称性敏感，使用不对称的恢复技术会显著降低训练推理一致性。基于此，我们提出了MoeResQ，一种在训练和推理侧强制对称的量化恢复方案，显著缩小了与全精度模型的准确性差距。

🔬 方法详解

问题定义：本论文旨在解决在混合专家（MoE）大语言模型中，FP4强化学习后训练方法的训练与推理策略不一致问题。现有方法在稠密模型中有效，但在MoE设置下未能改善性能，导致准确性下降。

核心思路：论文提出MoeResQ，通过在训练和推理侧施加对称的恢复技术，确保训练与推理策略的一致性，从而提高模型的整体性能。这样的设计是基于对MoE路由机制的深入分析，强调了对称性的重要性。

技术框架：MoeResQ的整体架构包括两个主要阶段：首先，在训练阶段应用对称的恢复技术；其次，在推理阶段同样应用相应的恢复技术，以确保两者之间的策略一致性。

关键创新：MoeResQ的核心创新在于其对称恢复原则，这与现有方法的非对称恢复策略形成鲜明对比。通过强制训练和推理侧的对称性，MoeResQ显著提升了模型的准确性和一致性。

关键设计：在MoeResQ中，关键的参数设置包括路由选择的优化策略和损失函数的设计，确保在训练和推理过程中均衡考虑各个专家的贡献。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，MoeResQ在训练推理一致性方面显著提升，Pearson相关系数和路由选择匹配率均有显著改善。与基线相比，MoeResQ的准确性差距缩小至接近全精度水平，展示了其在FP4 RL中的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和智能助手等。通过提高MoE模型在低精度量化下的性能，MoeResQ可以帮助开发更高效的语言模型，降低计算资源消耗，同时保持较高的准确性，具有重要的实际价值和未来影响。

📄 摘要（原文）

In this work, we study end-to-end FP4 reinforcement learning (RL) post-training for Mixture-of-Experts (MoE) large language models. Recent work on FP4 RL has introduced effective recovery recipes that restore accuracy under aggressive low-precision quantization for dense models, but we find that the same approach yields no improvement over the naive FP4 baseline in the MoE setting. We conduct an in-depth study to understand why. Our analysis identifies the root cause in the routing mechanism unique to MoE: because the router makes discrete expert-selection decisions, training-inference policy alignment becomes acutely sensitive to whether the same recovery technique is applied symmetrically on the training and inference sides. When an asymmetric recipe is used-including the dense-model approach, which corrects only the rollout-training-inference alignment deteriorates sharply, as measured by the Pearson correlation coefficient between training and inference probabilities, and router selection matching rates. Building on this finding, we propose MoeResQ, a quantization-recovery recipe for MoE RL post-training that enforces symmetry between the training- and inference-side corrections. MoeResQ restores training-inference alignment and substantially closes the accuracy gap to full precision, establishing symmetric recovery as the key principle in FP4 RL for MoE models.