Step-Level On-Policy Distillation: Interpolating Between On-Policy Distillation and Supervised Fine-Tuning
作者: Changhui Sun, Lanbo Liu, Hang Lei, Tong Ling, Jiahang Xie, Zhiyong Zheng, Yujia Wang, Hao Liu, Feng Xiao, Lu Liu, Yanlong Du, Zifeng Cheng, Ziwei Jiang, Qing Gu
分类: cs.CL, cs.AI
发布日期: 2026-08-17
💡 一句话要点
提出步级在线蒸馏方法以解决现有蒸馏效果不足问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 在线蒸馏 监督微调 步级监督 智能代理 机器学习
📋 核心要点
- 现有的在线蒸馏方法在处理学生生成轨迹时只能提供片段性的修正，无法实现全面的修复。
- 本文提出的步级在线蒸馏方法结合了监督微调的长远修正与在线蒸馏的优势，提供了更为细致的步级监督。
- 实验结果表明，SOPD在多个任务上显著超越了传统的监督微调和在线蒸馏方法，提升效果明显。
📝 摘要（中文）
在线蒸馏（OPD）通过对学生生成的轨迹进行教师模型的logit分布对齐，取得了显著的实证效果，且通常能在数据量较少的情况下超越传统的离线蒸馏。然而，标准的token级OPD只能对错误的学生轨迹提供片段修正，无法展开完整的修复路径。为了解决这一局限性，本文提出了步级在线蒸馏（SOPD），它结合了监督微调（SFT）的长远修正能力与OPD的在线优势，为完整的学生生成轨迹提供步级监督。实验结果表明，SOPD在推理和代理任务上显著优于传统的SFT和OPD，例如在ALFWorld上，SOPD的平均成功率比传统OPD提高了13.4个百分点。
🔬 方法详解
问题定义：本文旨在解决现有在线蒸馏方法在学生生成轨迹修正时的片段性问题，导致无法实现全面的修复路径。
核心思路：提出步级在线蒸馏（SOPD），通过结合监督微调的长远修正能力与在线蒸馏的优势，为学生生成的完整轨迹提供逐步的监督，从而实现更有效的学习。
技术框架：SOPD的整体架构包括教师模型和学生模型的交互，教师模型根据学生生成的轨迹提供步级反馈，确保学生模型在每一步都能获得更精确的指导。
关键创新：SOPD的核心创新在于其步级监督机制，使得教师的反馈不仅限于当前token，而是基于整个轨迹的上下文，从而实现更长远的修正。
关键设计：在实现过程中，SOPD设计了特定的损失函数以平衡教师反馈与学生生成轨迹的关系，同时在网络结构上进行了优化，以支持步级反馈的有效传递。
🖼️ 关键图片
📊 实验亮点
实验结果显示，SOPD在推理和代理任务上显著优于传统的监督微调和在线蒸馏方法。在ALFWorld任务中，SOPD的平均成功率比传统的在线蒸馏方法提高了13.4个百分点，展示了其卓越的性能。
🎯 应用场景
该研究的潜在应用领域包括智能代理、机器人控制和自动化决策等。通过提供更有效的蒸馏方法，SOPD可以帮助提升智能系统的学习效率和决策能力，具有广泛的实际价值和未来影响。
📄 摘要（原文）
On-policy distillation (OPD) aligns a student model with a teacher's logit distribution on student-generated trajectories. This approach has achieved strong empirical gains and can often surpass conventional off-policy distillation with substantially less data. However, standard token-level OPD can provide only fragmented corrections along an erroneous student trajectory and cannot unfold a complete and correct repair path. Motivated by this limitation, we propose \emph{Step-Level On-Policy Distillation} (SOPD), which combines the long-horizon correction of supervised fine-tuning (SFT) with the on-policy advantage of OPD to provide step-level supervision over complete student-generated trajectories. We show that, at different limits of step length, SOPD reduces to SFT or approximates OPD. Compared with SFT, the teacher responses in SOPD are conditioned on student trajectories and therefore align more closely with student-visited states; compared with OPD, SOPD provides longer-horizon corrections rather than fragmented token-level guidance. Across both reasoning and agent tasks, SOPD substantially outperforms conventional SFT and OPD. For example, on ALFWorld, SOPD improves the average success rate by 13.4 points over Vanilla OPD. We hope this work offers a new perspective for future research on distillation methods.