Turing LLM Post-Training: Calibrated Distillation and Efficient Dynamic-MoE Execution
作者: Yue He, Jiahui Hu, Shaman Tang, Hua Zhou, Qiman Wu, Menglin Li, Yizhao Wang, Yuheng Zhang, Da Zhu, Zhou Wang, Anhua Liu, Hanlin Chen, Mingyuan Wang, Rui Xin, Yuhua Wei, Shuang Su, Siqi Liu, Kai Yang, Weichao Huang, Hang Zhang, Honggou Yang, Xianming Liu
分类: cs.LG, cs.AI
发布日期: 2026-10-29
💡 一句话要点
提出动态路由混合专家模型的后训练方法以提升整合效率
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 动态路由 混合专家 后训练 蒸馏 模型整合 执行效率 深度学习 人工智能
📋 核心要点
- 现有的动态路由混合专家模型在整合独立优化专家时效率较低，导致训练和执行过程中的资源浪费。
- 论文提出了一种结合校准多教师在线蒸馏的后训练方法，旨在高效整合多个专家并优化执行路径。
- 实验结果表明，该方法在多个基准测试中显著提升了模型性能，并在执行时间上实现了2.86倍的加速。
📝 摘要（中文）
本研究探讨了动态路由混合专家（MoE）模型的后训练，重点在于高效整合独立优化的专家。我们的方法结合了校准的多教师在线蒸馏（C-MOPD），通过局部Top-K支持匹配每个选定教师，并进行教师级损失归一化和裁剪，同时采用后容量限制宽度调度、最终路径重放和异步回滚训练重叠。在Turing-20B-A2B模型上，所选模型在四个领域的归一化整合得分达到0.9988，并在每个领域保留至少90.16%的专家增益。实验结果显示，该模型在多个数学和代码基准测试中超越了现有的共享SFT和Qwen3-8B，且在合并执行配置下显著提高了效率。
🔬 方法详解
问题定义：本研究旨在解决动态路由混合专家模型在后训练阶段整合独立优化专家时的效率问题。现有方法在整合过程中存在资源浪费和时间延迟的痛点。
核心思路：论文提出的核心思路是结合校准的多教师在线蒸馏（C-MOPD），通过优化教师选择和损失归一化来提高整合效率，同时设计高效的执行路径以减少延迟。
技术框架：整体架构包括三个主要模块：1) 校准多教师在线蒸馏，2) 后容量限制宽度调度，3) 最终路径重放与异步回滚训练重叠。这些模块协同工作以优化模型性能和执行效率。
关键创新：最重要的技术创新在于引入了教师级损失归一化和裁剪机制，使得每个专家的贡献能够被有效整合，显著提升了模型的整合得分。与现有方法相比，该方法在整合效率和执行速度上均有显著改善。
关键设计：在参数设置上，论文采用了局部Top-K支持来选择教师，并在执行路径中实现了后容量限制的宽度调度。此外，损失函数的设计考虑了教师级的归一化和裁剪，以确保每个专家的贡献被合理评估。整体设计旨在实现高效的模型整合与执行。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在Turing-20B-A2B模型上，所选模型在四个领域的归一化整合得分达到0.9988，且在8K响应限制下，模型在数学和代码基准测试中超越了Qwen3-8B和共享SFT，平均得分为85.92，较Qwen3-8B的80.33和SFT的74.21有显著提升。同时，执行配置的优化使得整合步骤时间从398.7秒减少至139.3秒，实现了2.86倍的加速。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、计算机视觉和其他需要高效模型整合的人工智能任务。通过提升动态路由混合专家模型的整合效率，能够在实际应用中实现更快的响应时间和更高的准确性，推动智能系统的进一步发展。
📄 摘要（原文）
We study post-training for dynamically routed mixture-of-experts (MoE) models, focusing on integrating independently optimized specialists while keeping consolidation efficient. Our approach combines calibrated multi-teacher on-policy distillation (C-MOPD), which matches each selected teacher on a local Top-$K$ support with teacher-wise loss normalization and clipping, with an execution path that uses post-capacity bounded-width dispatch, final-route replay, and asynchronous rollout--training overlap. On Turing-20B-A2B, the selected model achieves a four-domain normalized integration score of 0.9988 and retains at least 90.16\% of the measured specialist gain in every domain. At matched $K=32$, the full calibration objective scores 0.9962, compared with 0.9724 without calibration and 0.9834 without clipping. At a matched 8K response cap, the model exceeds both shared SFT and Qwen3-8B on all four reasoning-enabled mathematics and code benchmarks (unweighted mean: 85.92, versus 80.33 for Qwen3-8B and 74.21 for SFT), and improves over SFT on ten of twelve broader evaluation metrics. In a PPU-based profile, the combined execution configuration reduces consolidation step time from 398.7 to 139.3 seconds, an observed 2.86$\times$ speedup over serial execution. These results demonstrate strong specialist integration alongside more efficient consolidation, while reflecting the complete training and execution framework rather than any single component.