Open-MOPD: Diagnosing and Fixing Capability Imbalance in Multi-Teacher On-Policy Distillation

📄 arXiv: 2608.19098v1 📥 PDF

作者: Huan-ang Gao, Haohan Chi, Yong Yan, Shiyuan Feng, Hanlin Wu, Zheng Jiang, Bingxiang He, Wei-Ying Ma, Ya-Qin Zhang, Hao Zhou

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-08-19

备注: Project page: https://bytedtsinghua-sia.github.io/Open-MOPD/

💡 一句话要点

提出Open-MOPD以解决多教师策略蒸馏中的能力不平衡问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多教师蒸馏 强化学习 能力整合 动态预算分配 令牌共享平衡 优化算法 智能决策

📋 核心要点

  1. 现有的多教师在线策略蒸馏方法在能力整合方面存在显著差距，导致任务性能下降和优化停滞。
  2. 本文提出Open-MOPD框架，通过令牌共享平衡和动态预算分配等方法，解决能力不平衡问题。
  3. 实验结果显示，Open-MOPD将能力整合的提升从35.6%提高至83.4%，显著改善了任务性能。

📝 摘要（中文）

多教师在线策略蒸馏（M-OPD）作为一种新兴的强化学习专家整合方法，面临优化动态不明确和缺乏可重复性的问题。本文在SmolLM3-3B-Base上建立了受控的M-OPD基准，揭示了能力整合的显著差距，标准M-OPD仅捕获了相对领域路由的35.6%可用空间。研究表明，问题源于令牌级优化预算的严重错误分配。为此，提出了Open-MOPD框架，通过令牌共享平衡、动态预算分配和学生奖励刷新等机制，系统性地恢复跨领域平衡，将可用空间提升至83.4%。

🔬 方法详解

问题定义：本文旨在解决多教师在线策略蒸馏中能力整合的不足，现有方法在优化过程中未能有效利用可用的能力空间，导致性能下降和停滞。

核心思路：提出Open-MOPD框架，重点在于通过令牌共享平衡和动态预算分配来优化令牌级的资源分配，从而提高跨领域的能力整合效果。

技术框架：Open-MOPD框架包括三个主要模块：令牌共享平衡、动态预算分配和学生奖励刷新。通过这些模块，系统能够有效地调整不同领域间的能力分配。

关键创新：最重要的创新在于引入了动态预算分配机制，解决了由于领域间序列长度差异和学习速率不均匀导致的优化不平衡问题，与传统方法相比，显著提升了能力整合的效率。

关键设计：在设计中，采用了针对不同领域的令牌共享策略，设置了动态调整的学习率，并引入了奖励刷新机制，以确保学生模型在训练过程中能够及时获得最新的反馈信息。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，Open-MOPD在能力整合方面的提升显著，从标准M-OPD的35.6%提升至83.4%。这一提升不仅改善了模型在指令跟随等任务上的表现，还有效避免了优化过程中的停滞现象，展示了其在实际应用中的巨大潜力。

🎯 应用场景

该研究的潜在应用领域包括强化学习模型的训练与优化，尤其是在需要整合多个领域专家的场景，如机器人控制、游戏智能体和自动驾驶等。通过提升模型的能力整合效率，Open-MOPD能够为实际应用提供更强的智能决策支持，推动相关技术的发展。

📄 摘要（原文）

Multi-teacher on-policy distillation (M-OPD) has emerged as a promising paradigm for consolidating domain-specialized reinforcement learning (RL) experts into a single generalist student via dense, token-level reward supervision. Despite its practical success, the optimization dynamics governing multi-teacher capability integration remain poorly understood, and open, rigorously reproducible recipes are conspicuously lacking. In this work, we establish a controlled M-OPD benchmark on SmolLM3-3B-Base with oracle routing, isolating capability integration from routing ambiguity. Our investigation reveals a pronounced capability integration gap: standard M-OPD captures only 35.6% of the available headroom relative to a domain-routed oracle ensemble, with concise tasks such as instruction following suffering severe degradation and premature stagnation. Crucially, we show that this failure stems not from gradient conflict, but from a severe misallocation of the token-level optimization budget. This pathology is driven by three orthogonal factors: structural sequence-length disparities across domains, dynamic convergence drift due to non-uniform learning rates, and multi-step reward staleness from asynchronous policy updates. To resolve these imbalances, we introduce Open-MOPD, a principled framework incorporating token-share balancing, gap-aware dynamic budget allocation, and student reward refresh. Together, these mechanisms systematically restore cross-domain balance, elevating headroom recovery from 35.6% to 83.4% in a single deployable student. We fully open-source our end-to-end post-training recipe, training trajectories, and evaluation suites on an academically accessible hardware budget.