MOPD: Multi-Teacher On-Policy Distillation for Capability Integration in LLM Post-Training

📄 arXiv: 2606.30406v1 📥 PDF

作者: Wenhan Ma, Jianyu Wei, Liang Zhao, Hailin Zhang, Bangjun Xiao, Lei Li, Qibin Yang, Bofei Gao, Yudong Wang, Rang Li, Jinhao Dong, Zhifang Sui, Fuli Luo

分类: cs.CL, cs.LG

发布日期: 2026-06-29

💡 一句话要点

提出MOPD以解决LLM能力整合难题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 强化学习 能力整合 在线蒸馏 多教师学习

📋 核心要点

  1. 现有方法在将多种能力整合到单一LLM中时效率低下，且可能导致性能下降。
  2. 本文提出的MOPD方法通过多教师在线蒸馏，利用领域专用的强化学习教师进行能力整合，消除暴露偏差。
  3. 实验结果表明，MOPD在Qwen3-30B-A3B上超越了多种基线方法，几乎完全继承了教师的能力。

📝 摘要（中文）

现代大型语言模型（LLMs）在后期训练中依赖强化学习来提升特定能力，但将多种能力整合到一个模型中仍然困难。现有方法如Off-Policy Finetune和Mix-RL效率低下或性能下降。本文提出了多教师在线蒸馏（MOPD），一种结合多个领域强化学习教师能力的后期训练范式。通过先进行领域专用的强化学习获得一组领域教师，再将这些教师蒸馏到学生模型中，从而消除暴露偏差并提供密集的优化信号。在Qwen3-30B-A3B上，MOPD超越了Mix-RL、Cascade RL、Off-Policy Finetune和Param-Merge基线，几乎继承了每个教师的所有能力。MOPD还支持领域教师的并行独立开发，消除了多领域后期训练中的跨领域耦合。MOPD已在工业规模前沿模型MiMo-V2-Flash的后期训练中部署，展示了其在前沿规模LLMs能力整合中的实际价值。

🔬 方法详解

问题定义：本文旨在解决将多种能力整合到单一大型语言模型中的困难。现有方法如Off-Policy Finetune和Mix-RL在效率和性能上存在不足，难以有效整合不同领域的能力。

核心思路：MOPD方法的核心在于通过多教师在线蒸馏，将多个领域的强化学习教师的知识整合到学生模型中。这种设计旨在消除暴露偏差，并提供更为密集的优化信号，从而提升模型的能力整合效果。

技术框架：MOPD的整体架构包括两个主要阶段：首先进行每个领域的专用强化学习以获得领域教师；然后将这些教师的知识蒸馏到学生模型中，利用学生模型自身的回滚数据进行训练。

关键创新：MOPD的主要创新在于其在线蒸馏机制，允许模型在自身回滚数据上进行学习，避免了传统方法中的暴露偏差问题。这一机制使得模型能够更有效地整合来自多个教师的知识。

关键设计：在MOPD中，关键的参数设置包括教师模型的数量和领域选择，以及损失函数的设计，以确保蒸馏过程中的信息传递效率。此外，网络结构的选择也经过精心设计，以适应多教师的知识整合需求。

🖼️ 关键图片

fig_0

📊 实验亮点

在Qwen3-30B-A3B的实验中，MOPD显著超越了Mix-RL、Cascade RL、Off-Policy Finetune和Param-Merge等基线方法，几乎完全继承了每个教师的能力，展示了其在能力整合上的卓越性能。

🎯 应用场景

MOPD的研究成果在多个领域具有广泛的应用潜力，尤其是在需要整合多种能力的大型语言模型中。其方法可以有效提升模型在特定任务上的表现，适用于自然语言处理、对话系统以及智能助手等实际应用场景。未来，MOPD可能推动更高效的模型训练和能力整合方法的发展。

📄 摘要（原文）

Modern large language models (LLMs) rely on reinforcement learning during post-training to push specific capabilities, yet integrating multiple capabilities into one model remains hard. Existing methods, such as Off-Policy Finetune and Mix-RL, are either inefficient or lose performance. In this work, we propose Multi-teacher On-Policy Distillation (MOPD), a post-training paradigm for combining the capabilities of multiple domain RL teachers: we first run per-domain specialised RL to obtain a set of domain teachers, then distill these teachers into the student on its own rollouts. This eliminates exposure bias and provides a dense optimization signal. On Qwen3-30B-A3B, MOPD outperforms Mix-RL, Cascade RL, Off-Policy Finetune, and Param-Merge baselines, inheriting nearly all of each teacher's capability. MOPD also enables parallel, independent development of domain teachers, removing the cross-domain coupling typical of multi-domain post-training. MOPD has been deployed in the post-training of MiMo-V2-Flash, an industrial-scale frontier model, demonstrating its practical value for capability integration in frontier-scale LLMs.