CA-OPD: Confidence-Aware On-Policy Distillation for Structured Visual Prediction

📄 arXiv: 2609.02401v1 📥 PDF

作者: Menghao Li, Linjie Mu, Yin Wang, Haotian Hu, Yannian Gu, Lujiayi Xue, Fanyi Wang

分类: cs.CV

发布日期: 2026-09-02

💡 一句话要点

提出CA-OPD以解决自回归视觉语言模型中的错误累积问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自回归模型 视觉语言 在线蒸馏 教师信心 多教师设置 光学字符识别 图形用户界面 知识转移

📋 核心要点

  1. 现有的在线蒸馏方法在训练与推理之间存在不匹配，尤其是在学生模型早期阶段，容易受到不可靠预测的影响。
  2. 本文提出的CA-OPD框架通过教师信心选择性地纠正学生的预测，逐步将回滚控制转移给学生，从而提高了模型的稳定性和性能。
  3. 在多教师设置下，CA-OPD在六个目标基准上显著提升了Qwen3.5-0.8B基线，尤其在ScreenSpot-Pro和OCRBench-v2 English上分别提高了9.50和6.72点。

📝 摘要（中文）

自回归视觉语言模型统一了异构感知任务，但对错误累积高度敏感。现有的在线蒸馏方法通过在学生的自我回滚上进行训练来弥补训练与推理之间的差距。然而，早期训练中不可靠的学生预测可能会干扰轨迹并降低教师监督的质量。为了解决这一问题，本文提出了信心感知在线蒸馏（CA-OPD）框架，结合可靠的回滚构建与自适应监督。CA-OPD利用教师的信心选择性地纠正不可靠的学生过渡，并通过严格到放松的调度逐步将回滚控制转移给学生。实验结果表明，CA-OPD在多教师设置下显著提升了GUI定位和光学字符识别的性能。

🔬 方法详解

问题定义：本文旨在解决自回归视觉语言模型在训练过程中由于不可靠预测导致的错误累积问题。现有的在线蒸馏方法未能有效处理学生模型早期阶段的低质量预测，影响了教师模型的监督效果。

核心思路：CA-OPD框架的核心思路是利用教师模型的信心来选择性地纠正学生模型的不可靠预测，并通过逐步放松的调度将回滚控制权转移给学生，以提高模型的稳定性和性能。

技术框架：CA-OPD的整体架构包括教师信心评估模块、学生预测修正模块和动态回滚控制模块。教师信心评估模块用于判断学生预测的可靠性，学生预测修正模块则根据教师的信心进行选择性纠正，动态回滚控制模块负责逐步将控制权转移给学生。

关键创新：CA-OPD的主要创新在于将教师信心与学生预测的修正决策相结合，提供了一种新的监督方式。这种方法不仅依赖于固定的排名指标，还考虑了干预决策如何影响逐个标记的监督。

关键设计：在设计上，CA-OPD采用了动态的损失函数，结合了交叉熵损失和教师的完整预测分布。此外，模型的训练过程通过严格到放松的调度策略来实现逐步的控制权转移，确保了训练的稳定性和有效性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

CA-OPD在多教师设置下显著提升了Qwen3.5-0.8B基线的性能，在六个目标基准上均有提升。其中，ScreenSpot-Pro的提升幅度达到9.50点，OCRBench-v2 English的提升幅度为6.72点，显示出该方法的有效性和优越性。

🎯 应用场景

CA-OPD框架具有广泛的应用潜力，尤其在图形用户界面（GUI）定位和光学字符识别（OCR）等领域。通过提高模型的稳定性和准确性，该方法可以推动自动化系统在复杂视觉任务中的应用，提升用户体验和效率。未来，CA-OPD的思想也可以扩展到其他多模态学习任务中，进一步推动智能系统的发展。

📄 摘要（原文）

Autoregressive vision language models unify heterogeneous perception tasks but are highly susceptible to compounding errors. On-policy distillation (OPD) bridges the training-inference mismatch by training students on their own rollouts. However, unreliable student predictions, especially early in training, can derail the trajectory and degrade the quality of teacher supervision. While recent interleaved distillation methods allow the teacher to verify and replace student tokens, they primarily rely on rigid ranking metrics rather than exact teacher confidence, and they overlook how intervention decisions can inform token-level supervision. To address this, we introduce Confidence-Aware On-Policy Distillation (CA-OPD), a framework that couples reliable rollout construction with adaptive supervision. CA-OPD utilizes teacher confidence to selectively correct unreliable student transitions, gradually transferring rollout control to the student via a strict-to-relaxed schedule. Crucially, CA-OPD aligns knowledge transfer with these intervention decisions: corrected positions receive direct cross-entropy supervision from the teacher's prediction, while retained positions benefit from the teacher's full predictive distribution. Evaluated in a multi-teacher setting for GUI grounding and optical character recognition, CA-OPD substantially improves the Qwen3.5-0.8B baseline across all six target benchmarks, including gains of $9.50$ points on ScreenSpot-Pro and $6.72$ points on OCRBench-v2 English. Controlled studies further show that the gains depend on intervention placement, progressive rollout control, and intervention-aligned supervision, rather than intervention frequency alone.