On-Policy Self-Distillation with Sampled Demonstrations Reduces Output Diversity

📄 arXiv: 2606.26091v1 📥 PDF

作者: Andrei Liviu Nicolicioiu, Mohammad Pezeshki, Aaron Courville

分类: cs.LG, cs.AI

发布日期: 2026-06-24

💡 一句话要点

提出基于自蒸馏的策略以解决输出多样性降低问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自蒸馏 输出多样性 强化学习 模型偏见 自然语言处理 样本生成 条件互信息

📋 核心要点

  1. 现有的自蒸馏方法在提高准确率的同时，可能导致生成样本的多样性降低，影响模型的泛化能力。
  2. 论文提出了一种新颖的自蒸馏策略，通过教师模型的反馈来优化学生模型的输出，旨在减少偏见的影响。
  3. 在控制的图路径寻找任务和科学问答基准上，自蒸馏模型的平均性能与强化学习相当，但多样性显著降低。

📝 摘要（中文）

本论文提出了一种基于自蒸馏的在线学习方法，通过使用单一模型作为教师和学生，教师在正确示例的条件下提供密集的标记级反馈。研究表明，这种方法可能导致隐性成本：生成的样本多样性降低，准确率曲线趋于平坦。我们分析了自蒸馏与采样示例设计中的偏差累积，指出教师在评分学生生成的样本时，依赖于采样的正确示例，从而加剧了模型的偏见。通过理论分析，我们揭示了自蒸馏策略如何影响基础分布，导致生成的样本集中在已有的主导模式上。实验结果显示，尽管自蒸馏模型在平均性能上与强化学习相当，但在功能和语义多样性上显著降低，无法应对需要多样化策略的分布外场景。

🔬 方法详解

问题定义：本论文旨在解决自蒸馏方法在提高模型准确率时导致输出多样性降低的问题。现有方法在依赖教师模型反馈时，可能加剧模型的偏见，影响生成样本的多样性。

核心思路：论文提出通过教师模型在正确示例条件下对学生模型进行反馈，优化学生的输出。该方法旨在通过理论分析和实验验证，揭示自蒸馏策略对样本分布的影响，减少偏见的累积。

技术框架：整体架构包括教师模型和学生模型，教师模型根据采样的正确示例进行反馈，学生模型则根据教师的反馈进行自我优化。主要模块包括自蒸馏策略的设计、反馈机制的实现及样本生成的评估。

关键创新：最重要的技术创新在于提出了一种新的自蒸馏策略，该策略通过条件互信息评分来调整样本生成的基础分布，从而避免了现有方法中概率差距的放大。

关键设计：在参数设置上，论文对教师模型和学生模型的结构进行了优化，损失函数设计上引入了条件互信息的概念，以确保反馈的有效性和多样性。

📊 实验亮点

实验结果表明，自蒸馏模型在控制的图路径寻找任务和科学问答基准上，平均性能与强化学习模型相当，但在功能和语义多样性上显著降低，尤其在分布外场景中表现不佳，显示出多样性不足的问题。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器人导航和智能问答系统等。通过提高模型的准确性和减少偏见，该方法可以在需要高准确率和多样化策略的实际场景中发挥重要作用，推动智能系统的进一步发展。

📄 摘要（原文）

On-policy self-distillation achieves strong pass@1 accuracy by using a single model as both teacher and student, with the teacher conditioned on a correct demonstration to provide dense token-level feedback. We show that this could come at a hidden cost: rollout diversity decreases and pass@k curves flatten (i.e., generating more rollouts fails to improve accuracy). We trace this to compounding biases in the design of self-distillation with sampled demonstrations. The teacher scores each student rollout while conditioned on a sampled correct rollout, channeling its feedback through the model's own biases. We theoretically analyze the optimal self-distillation policy and show that it tilts the base distribution by a pointwise conditional mutual information score between the student's rollout and the correct rollout used as context. Unlike the ideal optimal on-policy reinforcement learning (RL), which preserves probability ratios among equally correct rollouts, self-distillation can amplify existing probability gaps, concentrating mass on already-dominant modes. On a controlled graph path-finding task and science question-answering benchmarks, self-distilled models match or exceed RL on average performance but exhibit substantially lower functional and semantic diversity, failing on out-of-distribution settings that require diverse strategies.