VISTA: Verifier-Informed Student-to-Teacher Adaptation for On-Policy Self-Distillation

📄 arXiv: 2608.28306v1 📥 PDF

作者: Zewen Ding, Zezhong Wu, Zhou Tao, Shida Wang, Shizhuo Hou, YongXiang Hua, Haoyu Cao, Linli Xu

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-08-28

💡 一句话要点

提出VISTA以解决现有自蒸馏方法的单向监督问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自蒸馏 教师-学生适应 推理能力 机器学习 深度学习

📋 核心要点

  1. 现有的自蒸馏方法在教师分布与学生推理不一致时，可能导致学生受到误导，影响学习效果。
  2. VISTA通过使用结果验证的回滚来调整教师分布，保持学生更新的同时，增强了教师的适应性。
  3. 在AIME24、AIME25和HMMT25的实验中，VISTA在不同模型规模下均显著提升了性能，验证了其有效性。

📝 摘要（中文）

在政策自蒸馏（OPSD）中，通过使用来自特权教师的密集标记级监督，训练仅针对问题的学生以改善推理。然而，标准的OPSD将教师分布视为固定目标，仅更新学生，可能导致学生在教师分布与有效推理不一致时受到误导。为此，本文提出了验证者引导的学生到教师适应（VISTA），在保持标准OPSD学生更新的同时，利用结果验证的回滚来调整教师向学生分布适应。VISTA在每个验证的回滚中进一步限制这种适应，仅针对具有最大教师-学生KL散度的前k个位置。实验结果表明，VISTA在多个基准上均优于OPSD，展示了结果验证回滚的学生监督的价值。

🔬 方法详解

问题定义：论文要解决的问题是现有的自政策蒸馏方法（OPSD）在教师分布与学生推理不一致时，导致学生学习效果下降的挑战。标准OPSD仅更新学生，未能有效利用教师的指导信息。

核心思路：VISTA的核心思路是通过结果验证的回滚来调整教师，使其更好地适应学生的分布，同时保持学生的更新过程。这种双向适应能够提高学生的推理能力。

技术框架：VISTA的整体架构包括学生和教师两个模块，学生模块负责在其回滚上进行学习，而教师模块则根据验证的回滚进行适应。每个验证的回滚中，教师仅针对具有最大KL散度的前k个位置进行调整。

关键创新：VISTA的主要创新在于引入了验证者引导的适应机制，使教师能够根据学生的分布进行动态调整，而不是固定目标的单向监督。这一设计显著提升了学生的学习效果。

关键设计：VISTA重用了标准OPSD的回滚和损失函数，没有引入额外的采样或奖励目标。关键参数设置包括选择前k个位置进行教师适应的策略，确保了适应过程的高效性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在AIME24、AIME25和HMMT25的实验中，VISTA在不同规模的Qwen3模型上均实现了性能提升，分别提高了0.6、0.7和2.1个点，展示了其在自蒸馏领域的显著优势。

🎯 应用场景

该研究的潜在应用领域包括教育技术、智能辅导系统和自动化问题解决工具。通过提高模型的推理能力，VISTA能够在复杂问题的解决中提供更为精准的指导，未来可能在多种智能应用中发挥重要作用。

📄 摘要（原文）

On-policy self-distillation (OPSD) improves reasoning by training a problem-only student on its own rollouts using dense token-level supervision from a privileged teacher that also sees a reference solution. However, standard OPSD treats the teacher distribution as a fixed target along the student's rollout and updates only the student %, although -- even though privileged conditioning does not guarantee that the teacher always provides the most appropriate target for problem-only reasoning. This one-way supervision can therefore misdirect the student when the teacher distribution is misaligned with valid student reasoning. We therefore introduce Verifier-Informed Student-to-Teacher Adaptation (VISTA), which preserves the standard OPSD student update while using outcome-verified rollouts to adapt the teacher toward the student distribution. Within each verified rollout, VISTA further restricts this adaptation to the top-$k$ positions with the largest teacher--student KL divergence. Notably, VISTA reuses the rollout and loss function from standard OPSD, introducing no additional sampling or separate reward objective. Across AIME24, AIME25, and HMMT25 with Qwen3 models at 1.7B, 4B, and 8B, VISTA achieves the highest Avg@12 at every scale, improving over OPSD by $0.6$, $0.7$, and $2.1$ points, respectively. These results demonstrate the value of student supervision from outcome-verified rollouts and highlight student-to-teacher adaptation as a promising direction for OPSD.