ReNIO: Reweighting Negative Trajectory Importance for LLM On-Policy Distillation

📄 arXiv: 2606.23104v1 📥 PDF

作者: Chen Lin, Kedi Chen, Wei Zhang

分类: cs.LG, cs.AI

发布日期: 2026-06-22

备注: 15 pages

🔗 代码/项目: GITHUB

💡 一句话要点

提出ReNIO以解决LLM蒸馏中负向轨迹重要性的问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 政策蒸馏 负向轨迹 推理能力 自然语言处理 模型优化 深度学习 代码生成

📋 核心要点

  1. 现有的政策蒸馏方法未能有效区分学生生成输出的质量，导致训练效果不佳。
  2. ReNIO通过重加权负向轨迹的重要性，利用学生与教师的概率比来识别关键token，从而优化训练过程。
  3. 在数学推理和代码生成任务中，ReNIO显著提升了模型性能，验证了其有效性和实用性。

📝 摘要（中文）

在政策蒸馏（OPD）中，学生模型基于自身生成的输出进行训练，但标准OPD对所有生成的输出一视同仁，忽略了其信息量的差异。研究发现，训练仅基于错误输出的模型在性能上优于仅基于正确输出的模型。为此，本文提出ReNIO（Reweighting Negative trajectory Importance），通过学生与教师的概率比，识别导致错误推理的关键token，并将其信息聚合为标准化样本权重，从而在不需要完整答案的情况下，赋予负向轨迹更大的权重。ReNIO在数学推理和代码生成任务上均显著提升了OPD和OPSD的性能，代表性增益最高可达8.90%和10.00%。

🔬 方法详解

问题定义：本文旨在解决现有政策蒸馏方法中对学生生成输出的处理不均衡问题，导致训练效果不理想。现有方法未能充分利用错误输出的信息，造成模型推理能力的不足。

核心思路：ReNIO的核心思路是通过重加权负向轨迹的重要性，利用学生与教师模型的概率比来识别和聚合关键token的信息，从而优化训练过程，特别是对错误推理的利用。

技术框架：ReNIO的整体架构包括数据预处理、关键token识别、样本权重计算和模型训练四个主要模块。首先，通过学生模型生成输出，然后计算学生与教师的概率比，识别出对错误推理有贡献的token，最后将这些信息整合到训练过程中。

关键创新：ReNIO的创新在于其通过概率比重加权错误轨迹，赋予负向轨迹更大的重要性，从而有效提升了模型的推理能力。这一方法与传统的均匀处理所有输出的方式形成鲜明对比。

关键设计：在ReNIO中，关键参数包括样本权重的计算方式和损失函数的设计，确保能够有效聚合负向轨迹的信息。此外，模型结构保持了OPD的前缀训练优势，避免了全回合强化学习的复杂性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在数学推理基准测试中，ReNIO显著提升了模型性能，Qwen3-1.7B模型的相对增益达到8.90%，而R1-Distill-Qwen-7B模型的增益更是高达10.00%。这些结果表明，ReNIO在优化政策蒸馏方面的有效性和实用性。

🎯 应用场景

ReNIO的研究成果在多个领域具有广泛的应用潜力，尤其是在需要高效推理的自然语言处理任务中，如问答系统、对话生成和代码自动生成等。通过优化模型的训练过程，ReNIO有望提升这些应用的智能化水平和用户体验，推动人工智能技术的进一步发展。

📄 摘要（原文）

On-policy distillation (OPD) improves LLM reasoning by training a student model on its own generated outputs, but standard OPD treats all student-generated outputs (SGOs) equally regardless of their informativeness. We observe a consistent asymmetry in controlled filtering experiments: in both OPD and on-policy self distillation (OPSD), training only on incorrect SGOs outperforms training only on correct ones. Our further analysis suggests that models trained on correct-only SGOs tend to generate shorter reasoning traces and show weaker reflection behavior, while incorrect SGOs better preserve exploratory reasoning near the model's capability boundary. To exploit this signal without requiring full answer-containing rollouts, we introduce ReNIO, which Reweights Negative trajectory Importance for LLM On-policy distillation. By using the student-to-teacher probability ratio, ReNIO identifies pivotal tokens leading to wrong reasoning traces and aggregates their information into a normalized sample weight, inherently assigning larger weights to likely negative trajectories without observing the correctness of final-answer. Since Re-NIO only uses prefix-conditioned token probabilities, it preserves OPD's prefix training advantage over full-rollout reinforcement learning. Across both mathematical reasoning and code generation tasks, ReNIO improves both OPD and OPSD, with representative relative gains of up to 8.90% for Qwen3-1.7B and 10.00% for R1-Distill-Qwen-7B on mathematical reasoning benchmarks. Code repo: https://github.com/BDML-lab/ReNIO.