ReOrder-OPD:Reliability-Aware Prompt Ordering for On-Policy Distillation
作者: Ximo Zhu, Ruiqi Liu, Rong Wang, Ping Wu, Xiang Zheng, Wenzhuo Xu, Xubin Yao, Zhiyuan Yan, Bo Li, Jun Gao, Xiaolei Lv
分类: cs.LG
发布日期: 2026-08-11
💡 一句话要点
提出ReOrder-OPD以解决在政策蒸馏中的教师监督不可靠问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 在政策蒸馏 教师监督 提示排序 可靠性评估 自然语言处理 模型训练 性能提升
📋 核心要点
- 现有的在政策蒸馏方法在教师监督的可靠性上存在不足，无法有效判断教师是否能从学生前缀生成正确答案。
- 本文提出了一种新的方法ReOrder-OPD，通过定义教师继续可靠性R并使用代理排序提示，来优化教师监督的有效性。
- 实验结果显示，ReOrder-OPD在多个设置下均显著提升了模型性能，尤其是在数学和代码生成任务中表现突出。
📝 摘要（中文）
在政策蒸馏（OPD）中，教师对学生生成的轨迹进行的标记级监督并不总是可靠。现有方法通过局部置信度或教师-学生一致性来加权、过滤或截断采样轨迹，但这些信号无法直接判断教师是否能够从学生前缀继续生成正确答案。本文定义了教师继续可靠性R，表示教师从学生前缀达到正确答案的概率。实验表明，高R值的提示能带来更大的OPD增益，且按R值递减的训练优于随机和递增顺序。ReOrder-OPD通过代理排序提示，并为传统OPD生成独立的在政策训练轨迹，显著提升了Qwen3和Gemma4数学设置及Qwen3代码设置的性能。
🔬 方法详解
问题定义：本文旨在解决在政策蒸馏中教师监督的不可靠性问题。现有方法依赖局部置信度或教师-学生一致性来处理轨迹，但无法准确判断教师是否能从学生前缀继续生成正确答案。
核心思路：论文提出通过定义教师继续可靠性R，来量化教师从学生前缀达到正确答案的概率。通过这种方式，能够更有效地排序提示，从而提升监督的有效性。
技术框架：ReOrder-OPD的整体流程包括首先计算每个提示的教师继续可靠性R，然后根据R值对提示进行排序，最后生成独立的在政策训练轨迹以进行传统OPD。
关键创新：最重要的创新在于定义了教师继续可靠性R，并通过最大ROUGE-5 F1分数作为代理来估计R。这一方法有效区分了不同的可靠性水平，显著提升了模型的训练效果。
关键设计：在参数设置上，使用了最大ROUGE-5 F1分数来评估提示的可靠性，并在实验中验证了按R值递减的训练顺序优于随机和递增顺序。
🖼️ 关键图片
📊 实验亮点
实验结果表明，ReOrder-OPD在Qwen3和Gemma4数学设置以及Qwen3代码设置中均显著提升了模型性能，尤其是在六个FiRe-OPD和ExOPD设置中，表现出明显的增益，验证了提示排序对轨迹内监督的补充作用。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理中的文本生成、代码生成以及其他需要教师-学生模型协作的任务。通过提升教师监督的可靠性，ReOrder-OPD能够在多种场景下提高模型的性能，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
On-policy distillation (OPD) applies token-level teacher supervision to student-generated trajectories, but this supervision is not always reliable. Existing methods use local confidence or teacher-student agreement to weight, filter, or truncate the sampled trajectory. These signals do not directly determine whether the teacher can continue a student prefix to a correct answer, and trajectory-level interventions can conflate one rollout's unreliability with low expected training value of its prompt. We define prompt-level teacher continuation reliability $R$ as the teacher's probability of reaching a correct answer from a student prefix, averaged over prefixes and trajectories induced by the current student. Oracle experiments show that high-$R$ prompts yield larger OPD gains and that descending-$R$ training outperforms random and ascending orders on a fixed prompt pool. Because estimating $R$ requires many teacher continuations, we use the maximum ROUGE-5 F1 between one independent student rollout and verifier-correct same-prompt teacher trajectories. Across ten equal-frequency bins of this actual score, mean $R$ rises monotonically, showing that the proxy separates coarse reliability levels. ReOrder-OPD sorts prompts by the proxy, then draws independent on-policy training trajectories for vanilla OPD. It improves every matched aggregate comparison across Qwen3 and Gemma4 mathematics settings and Qwen3 code settings. Gains in all six FiRe-OPD and ExOPD settings show that prompt ordering complements within-trajectory supervision.