Self-OPD: On-Policy Distillation for Flow Matching Models without Teacher

📄 arXiv: 2608.26872v1 📥 PDF

作者: Shiyi Zhang, Mushui Liu, Yunze Tong, Wanggui He, Siyu Zou, Jinlong Liu, Yunlong Yu, Jian Song, Hao Jiang, Pipei Huang, Bo Zheng

分类: cs.CV

发布日期: 2026-08-27

备注: 19 pages, 10 figures

💡 一句话要点

提出Self-OPD以解决流匹配模型中的教师依赖问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 无教师蒸馏 流匹配模型 自我探索 强化学习 归一化优势

📋 核心要点

  1. 现有的在政策蒸馏方法依赖于为每个新任务训练特定的教师模型，导致高昂的计算成本。
  2. Self-OPD通过利用学生自身的自我探索，提供逐步的监督信号，避免了教师模型的需求。
  3. 实验结果显示，Self-OPD在多项基准测试中超越了传统的强化学习和蒸馏方法，表现出显著的性能提升。

📝 摘要（中文）

在这篇论文中，作者提出了一种无教师的在政策蒸馏框架Self-OPD，旨在解决流匹配模型中的两个主要问题：为每个新目标训练特定教师模型的高计算成本，以及教师与学生分布之间的差异导致的生成轨迹中的累积错误。Self-OPD通过将学生自身的自我探索转化为逐步监督，在每个时间步将确定性下一个状态预测分支为多个随机候选，并通过ODE采样器进行滚动，比较其奖励与确定性自参考基线的差异以获得归一化优势。实验结果表明，Self-OPD在单一和混合奖励基准上优于以往的强化学习和在政策蒸馏方法，且无需特定任务的教师。

🔬 方法详解

问题定义：现有的在政策蒸馏方法依赖于教师模型，导致高计算成本和教师与学生分布之间的差异引发的累积错误。

核心思路：Self-OPD通过将学生的自我探索转化为逐步监督，避免了对教师模型的依赖，提升了流匹配模型的训练效率。

技术框架：Self-OPD的整体架构包括将确定性预测分支为多个随机候选，通过ODE采样器进行滚动，并与自参考基线进行比较以获取优势。

关键创新：Self-OPD的主要创新在于无教师的蒸馏框架，利用学生自身的探索进行监督，避免了传统方法中的教师依赖问题。

关键设计：在实现中，使用了归一化优势来优化速度场，并通过全分支的拉推目标来引导高优势分支吸引学生，低优势分支则在方向感知衰减和SDE方差归一化下进行排斥。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Self-OPD在单一和混合奖励基准上均表现优异，相较于传统的强化学习和在政策蒸馏方法，性能提升幅度达到了显著的水平，具体数据未提供。

🎯 应用场景

Self-OPD的研究成果在流匹配模型的训练中具有广泛的应用潜力，尤其是在需要高效学习和适应新任务的场景中。该方法的无教师特性使其在资源受限的环境中尤为重要，未来可扩展至其他领域，如机器人控制和自动化决策系统。

📄 摘要（原文）

On-policy distillation (OPD), which leverages a pre-trained, specialized teacher model to provide dense supervisory signals, has achieved significant success in Large Language Models (LLMs) and has recently been adapted to flow matching models. However, this paradigm suffers from two major issues: First, training a separate, task-specific teacher for every new objective incurs high computational costs. Second, the discrepancy between teacher and student distributions often leads to compounding errors along the generation trajectory. In this paper, we introduce \textbf{Self-OPD}, a teacher-free OPD framework for flow matching models that turns the student's own self-exploration into step-wise supervision. At each timestep, Self-OPD branches the deterministic next-state prediction into $K$ stochastic SDE candidates, rolls them out with the ODE sampler, and compares their rewards against a deterministic self-reference baseline to obtain normalized advantages. The velocity field is optimized with an all-branch pull-push objective, where high-advantage branches attract the student and low-advantage branches repel it under direction-aware attenuation and SDE-variance normalization. For multi-objective alignment, Self-OPD fuses normalized scores at the reward level, avoiding direct gradient conflict. Experiments on single and mixed reward benchmarks show that Self-OPD outperforms prior RL and OPD methods without task-specific teachers.