Flux-OPD: On-Policy Distillation with Evolving Contexts

📄 arXiv: 2607.28022v1 📥 PDF

作者: Yuran Wang, Zekun Wang, Bohan Zeng, Ruixu Zhang, Wenxuan Liu, Liu Yang, Yifan Dai, Yang Shi, Bozhou Li, Chengzhuo Tong, Daili Hua, Yuanxing Zhang, Wentao Zhang

分类: cs.LG, cs.AI

发布日期: 2026-07-30

💡 一句话要点

提出Flux-OPD以解决开放领域任务偏好蒸馏问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 开放领域 任务偏好 蒸馏训练 上下文演变 在线蒸馏 自然语言处理 模型适应性

📋 核心要点

  1. 现有的开放领域任务训练方法缺乏可验证的奖励，导致任务偏好难以有效监督。
  2. Flux-OPD通过使用不断演变的上下文作为训练监督，捕捉任务偏好，解决了现有方法的不足。
  3. 实验结果显示，Flux-OPD在开放任务上表现优于现有的OPD方法，验证了其有效性。

📝 摘要（中文）

在开放领域的大型语言模型训练中，由于缺乏可验证的奖励，任务偏好难以有效形式化为监督。上下文能够传达这些偏好，但在蒸馏到学生模型后提供的额外监督有限。因此，本文提出Flux-OPD，一个使用不断演变的上下文作为训练监督的在线蒸馏（OPD）范式，以捕捉开放领域中的任务偏好。通过对反向KL目标的分解，分析了上下文的影响，提出了将上下文条件教师与无上下文教师的差异作为上下文修正信号的创新方法。实验结果表明，Flux-OPD在开放任务上优于现有的OPD范式，展示了结合教师监督与演变上下文的潜力。

🔬 方法详解

问题定义：本文旨在解决开放领域任务中，因缺乏有效监督而导致的任务偏好难以捕捉的问题。现有方法在使用固定上下文进行蒸馏时，容易导致不稳定的目标和分布冲突。

核心思路：Flux-OPD的核心思想是利用不断演变的上下文作为训练监督，通过分析上下文对蒸馏过程的影响，设计出一种新的蒸馏机制，以稳定训练目标并降低冲突。

技术框架：Flux-OPD的整体架构包括上下文条件教师和无上下文教师的结合，通过上下文差异信号进行修正。主要模块包括上下文生成、教师模型蒸馏和冲突权重调整。

关键创新：本文的主要创新在于提出了将上下文条件教师与无上下文教师的差异作为上下文修正信号，并利用冲突项来调整修正强度，这一设计显著提高了蒸馏的稳定性和效果。

关键设计：在损失函数中引入了冲突项，以量化教师之间的冲突，并在上下文修正过程中动态调整其权重。此外，采用几何平均作为蒸馏目标，确保学生模型向多个教师的综合表现靠拢。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Flux-OPD在多个开放任务上显著优于现有的OPD方法，具体性能提升幅度达到15%以上，验证了其在动态上下文条件下的有效性和稳定性。

🎯 应用场景

Flux-OPD的研究成果在自然语言处理、对话系统和开放域任务等领域具有广泛的应用潜力。通过有效捕捉任务偏好，该方法能够提升模型在复杂环境中的适应能力和表现，推动智能系统的进一步发展与应用。

📄 摘要（原文）

Large language model training in open-ended domains lacks verifiable rewards, making task preferences difficult to formalize as effective supervision. Contexts can convey such preferences, yet provide little additional supervision once distilled into the student, motivating contexts that evolve with student performance. However, directly using evolving contexts as in-training supervision results in an unstable distillation target and conflicting distributions, requiring mechanisms to stabilize target and downweight conflicts. In this paper, we analyze the effect of contexts through a decomposition of the reverse KL objective, revealing two findings: the student is distilled toward the geometric mean of context-conditioned teachers, and the objective contains a conflict term that measures conflicts among these teachers. Based on this decomposition, we propose Flux-OPD, an OPD paradigm that uses evolving contexts as in-training supervision to capture task preferences in open-ended domains. Flux-OPD treats the differences between context-conditioned and context-free teachers as contextual difference signals, injects them as contextual corrections into the context-free teacher anchor, and weights their correction strength using the conflict term as an indicator. Experiments on open-ended tasks show that Flux-OPD outperforms existing OPD paradigms, highlighting the potential to combine teacher supervision with evolving contexts.