Turing LLM Post-Training: Calibrated Distillation and Efficient Dynamic-MoE Execution
作者: Yue He, Jiahui Hu, Shaman Tang, Hua Zhou, Qiman Wu, Menglin Li, Yizhao Wang, Yuheng Zhang, Da Zhu, Zhou Wang, Anhua Liu, Hanlin Chen, Mingyuan Wang, Rui Xin, Yuhua Wei, Shuang Su, Siqi Liu, Kai Yang, Weichao Huang, Hang Zhang, Honggou Yang, Xianming Liu
分类: cs.LG, cs.AI
发布日期: 2026-10-29 (更新: 2026-10-30)
💡 一句话要点
提出动态路由专家模型的后训练方法以提高整合效率
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 动态路由 混合专家 后训练 蒸馏 模型整合 效率提升 自然语言处理 计算机视觉
📋 核心要点
- 现有动态路由混合专家模型在整合独立优化专家时效率较低，导致性能提升受限。
- 提出了一种结合校准多教师在线蒸馏的后训练方法，旨在高效整合专家并优化执行路径。
- 实验结果表明，所提方法在多个数学和代码推理基准上超越了现有模型，并显著提高了整合速度。
📝 摘要（中文）
本研究探讨了动态路由混合专家（MoE）模型的后训练，重点在于高效整合独立优化的专家。我们的方法结合了校准的多教师在线蒸馏（C-MOPD），通过局部Top-K支持匹配每个选择的教师，并进行教师-wise损失归一化和裁剪，同时采用后容量有界宽度调度、最终路径重放和异步回滚训练重叠的执行路径。在Turing-20B-A2B模型上，所选模型在四个领域的归一化整合得分达到0.9988，并在每个领域保留至少90.16%的专家增益。实验结果显示，该方法在多个基准测试中超越了现有模型，并显著提高了整合效率。
🔬 方法详解
问题定义：本研究旨在解决动态路由混合专家模型在后训练阶段整合独立优化专家时的效率问题。现有方法在整合过程中存在时间开销大和性能提升有限的痛点。
核心思路：论文提出了一种校准的多教师在线蒸馏（C-MOPD）方法，通过局部Top-K支持匹配和损失归一化，优化专家整合过程，并设计了高效的执行路径以提升整体性能。
技术框架：整体架构包括三个主要模块：1) 校准多教师蒸馏模块，负责优化专家选择；2) 执行路径调度模块，采用后容量有界宽度调度和最终路径重放；3) 异步回滚训练重叠模块，提升训练效率。
关键创新：最重要的技术创新在于结合了多教师蒸馏与高效的执行路径调度，显著提升了专家整合的效率和模型性能，区别于传统的单一组件优化方法。
关键设计：在损失函数设计上，采用教师-wise损失归一化和裁剪技术，确保每个专家的贡献得到合理评估；在参数设置上，匹配K值为32时，校准目标得分达到0.9962，显示出显著的性能提升。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在Turing-20B-A2B模型上，所提方法在四个领域的归一化整合得分达到0.9988，且在8K响应限制下，模型在数学和代码推理基准上超越了SFT和Qwen3-8B，平均得分为85.92，相较于Qwen3-8B的80.33和SFT的74.21，提升显著。此外，整合步骤时间从398.7秒减少至139.3秒，实现了2.86倍的加速。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、计算机视觉和机器人等领域，尤其是在需要高效模型整合与推理的任务中。通过提升动态路由专家模型的整合效率，能够在实际应用中实现更快的响应时间和更高的准确性，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
We study post-training for dynamically routed mixture-of-experts (MoE) models, focusing on integrating independently optimized specialists while keeping consolidation efficient. Our approach combines calibrated multi-teacher on-policy distillation (C-MOPD), which matches each selected teacher on a local Top-$K$ support with teacher-wise loss normalization and clipping, with an execution path that uses post-capacity bounded-width dispatch, final-route replay, and asynchronous rollout--training overlap. On Turing-20B-A2B, the selected model achieves a four-domain normalized integration score of 0.9988 and retains at least 90.16\% of the measured specialist gain in every domain. At matched $K=32$, the full calibration objective scores 0.9962, compared with 0.9724 without calibration and 0.9834 without clipping. At a matched 8K response cap, the model exceeds both shared SFT and Qwen3-8B on all four reasoning-enabled mathematics and code benchmarks (unweighted mean: 85.92, versus 80.33 for Qwen3-8B and 74.21 for SFT), and improves over SFT on ten of twelve broader evaluation metrics. In a PPU-based profile, the combined execution configuration reduces consolidation step time from 398.7 to 139.3 seconds, an observed 2.86$\times$ speedup over serial execution. These results demonstrate strong specialist integration alongside more efficient consolidation, while reflecting the complete training and execution framework rather than any single component.