Video-OPSD: Exploiting Privileged Visual Evidence for On-Policy Self-Distillation in Video Large Language Models
作者: Ziyue Wang, Shiqi Huang, Weiwen Xu, Bihan Wen, Xudong Jiang
分类: cs.CV
发布日期: 2026-08-27
💡 一句话要点
提出Video-OPSD以解决视频大语言模型的自蒸馏问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频大语言模型 在线自蒸馏 特权视觉证据 知识转移 视频理解 多模态学习 推理能力
📋 核心要点
- 现有的在线自蒸馏方法在视频大语言模型中应用不足，缺乏有效的特权监督机制。
- 本文提出的Video-OPSD框架通过利用视频中的特权视觉证据，构建更为专注的自教师，从而提升知识转移效果。
- 实验结果显示，Video-OPSD在多个视频理解和推理基准上超越了标准OPSD，并且训练时间显著减少。
📝 摘要（中文）
在视频大语言模型（Video-LLMs）中，在线自蒸馏（OPSD）作为一种有效的后训练范式，通过来自特权自教师的密集标记级监督来改善策略优化。尽管OPSD展现出良好的前景，但在Video-LLMs中的应用仍然较少。现有方法通常通过增强上下文信息来构建特权教师，而保持主要输入不变。本文提出Video-OPSD框架，利用视频中的特权视觉证据进行自教师构建和知识转移。实验表明，Video-OPSD在多个基准测试中表现优于标准OPSD，并且在训练时间上显著减少，展现出其在Video-LLMs中的有效性和高效性。
🔬 方法详解
问题定义：本文旨在解决视频大语言模型中在线自蒸馏（OPSD）方法的不足，尤其是如何有效利用视频中的特权视觉证据来提升模型性能。现有方法通常依赖于额外的信息增强，而未能充分利用视频本身的时序冗余。
核心思路：Video-OPSD的核心思路是通过构建基于证据的自教师，专注于标注的证据帧，同时让学生模型在完整视频上进行推理。这种设计使得教师能够提供更具信息量的监督，从而提升知识转移的效果。
技术框架：Video-OPSD框架主要包括两个模块：证据驱动的自教师和证据引导的标记优化。前者专注于从标注的证据帧中进行条件化，后者则根据每个推理标记对特权视觉证据的依赖程度，动态调整标记级蒸馏的权重。
关键创新：本文的主要创新在于利用视频中的特权视觉证据进行自教师构建和知识转移，强调了感知基础的推理。这与现有方法的本质区别在于，现有方法通常未能充分利用视频内容本身的冗余信息。
关键设计：在设计中，证据驱动的自教师仅依赖于标注的证据帧，确保教师提供的信息更加集中和有效。同时，动态权重的设置使得模型能够更好地关注与推理相关的视觉信息，从而提升整体性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Video-OPSD在多个视频理解和推理基准上均优于标准OPSD，且在训练时间上显著减少，达到了与GRPO相当的性能。这表明Video-OPSD在效率和效果上的双重优势，具有重要的研究价值。
🎯 应用场景
该研究在视频理解和推理领域具有广泛的应用潜力，能够为视频内容分析、智能问答系统以及多模态学习等领域提供更高效的解决方案。未来，Video-OPSD可能推动视频大语言模型在实际应用中的普及与发展，提升人机交互的智能化水平。
📄 摘要（原文）
On-policy self-distillation (OPSD) has recently emerged as an effective post-training paradigm that improves policy optimization through dense token-level supervision from a privileged self-teacher. Despite its promise, OPSD remains largely underexplored for Video Large Language Models (Video-LLMs). Existing methods typically construct privileged teachers by augmenting their context with additional information while keeping the primary input unchanged for both teacher and student. Video reasoning, however, offers a distinct source of privileged supervision within the primary input itself: long videos contain substantial temporal redundancy, and only a small subset of frames provides the evidence necessary to answer a question. Building on this observation, we present $\textbf{Video-OPSD}$, an OPSD framework that exploits privileged visual evidence for both self-teacher construction and knowledge transfer. First, our Evidence-Grounded Self-Teacher conditions the teacher exclusively on annotated evidence frames while the student continues to reason over the complete video. This focused visual input enables the teacher to provide more informative supervision. Second, our Evidence-Guided Token Optimization adaptively weights token-level distillation according to each reasoning token's reliance on privileged visual evidence, thereby emphasizing perceptually grounded reasoning. Experiments across video understanding and reasoning benchmarks show that $\textbf{Video-OPSD}$ consistently improves upon Standard OPSD across multiple backbones and achieves performance comparable to GRPO while requiring substantially less training time, establishing an effective and efficient post-training approach for Video-LLMs.