Where to Look Matters: On-Policy Self-Distillation for Long-Video Understanding

📄 arXiv: 2608.25356v1 📥 PDF

作者: Kaishen Wang, Dongdi Zhao, Yijun Liang, Dingqiang Ye, Ruibo Chen, Heng Huang, Di Fu

分类: cs.CV

发布日期: 2026-08-26

备注: 15 pages, 8 figures, 5 tables

💡 一句话要点

提出Clue-OPSD框架以提升长视频理解精度

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 长视频理解 自蒸馏 线索区间 视觉语言模型 多模态学习 模型训练 信息聚焦

📋 核心要点

  1. 现有的长视频理解方法通常依赖完整视频的上下文，导致模型受到无关信息的干扰，影响预测准确性。
  2. 本文提出了一种新的自蒸馏框架Clue-OPSD，通过聚焦于与问题相关的短线索区间来提升模型性能。
  3. 在多个长视频理解基准上，Clue-OPSD相较于传统模型和监督后训练基线均表现出显著的性能提升。

📝 摘要（中文）

视觉语言模型（VLMs）在长视频理解方面取得了显著进展，但随着视频长度的增加，完整视频的上下文中包含了更多与问题无关的时间内容，可能会干扰模型的判断。本文提出Clue-OPSD框架，通过聚焦于短的注释线索区间，显著提高了模型的预测准确性。该框架在训练过程中，学生模型从自教师中学习，利用线索区间作为特权监督，无需依赖真实答案标签。实验结果表明，Clue-OPSD在多个长视频理解基准上表现优异，超越了相应的基础模型和监督后训练基线。

🔬 方法详解

问题定义：本文旨在解决长视频理解中，模型因关注完整视频而受到无关信息干扰的问题。现有方法在处理长视频时，往往无法有效聚焦于与问题相关的关键信息。

核心思路：Clue-OPSD框架的核心思路是利用短的注释线索区间作为特权监督，指导学生模型的学习过程，从而提升模型在特定问题上的预测能力。通过这种方式，模型能够更有效地聚焦于与问题相关的证据。

技术框架：该框架包括两个主要模块：学生模型和自教师。学生模型在训练过程中生成轨迹，并与自教师的下一个标记分布进行对齐，利用线索区间进行学习。

关键创新：Clue-OPSD的创新之处在于它不依赖于真实答案标签，而是通过线索区间提供特权监督。这种方法在推理时无需额外的线索注释或模块，简化了模型的使用。

关键设计：在模型设计中，采用了特定的损失函数来对齐学生模型和自教师的输出，确保模型能够有效学习到与问题相关的特征。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在多个长视频理解基准上，Clue-OPSD框架相较于传统基础模型表现出显著提升，尤其在Qwen3.5模型规模下，准确性提升幅度达到XX%（具体数据未知），并在与监督后训练基线的对比中展现出强劲的性能。

🎯 应用场景

该研究的潜在应用领域包括视频问答、视频检索和智能监控等。通过提升长视频理解的准确性，Clue-OPSD能够为多模态交互系统提供更为精准的支持，推动相关领域的技术进步与应用落地。

📄 摘要（原文）

Vision-language models (VLMs) have made substantial progress in long-video understanding, with standard backbone models typically answering questions from frames sampled across the full video. However, as videos become longer, the full-video context inevitably contains more question-irrelevant temporal content, which can distract the model from the evidence needed to answer a specific question. We empirically find that focusing the visual input on short annotated clue intervals containing question-relevant evidence consistently improves prediction accuracy across model scales compared with using the corresponding full videos, while requiring fewer input frames. Based on this finding, we introduce Clue-OPSD, a clue-privileged on-policy self-distillation framework for long-video understanding. During training, a full-video student learns from a self-teacher conditioned on the corresponding clue interval by aligning their next-token distributions along student-generated trajectories. Clue-OPSD thus uses clue intervals as privileged supervision without relying on ground-truth answer labels, while requiring no clue annotations or additional modules at inference time. Extensive experiments across multiple long-video understanding benchmarks and Qwen3.5 model scales demonstrate consistent improvements over the corresponding backbone models and strong performance against supervised post-training baselines.