Evidence-Driven Dynamic Visual Selector for Efficient Long Video Understanding
作者: Bo Zhang, Wenxin Wang, Feng Chen, Zhihao Zhang, Zixuan Wang, Changsheng Li, Yinjie Lei
分类: cs.CV
发布日期: 2026-08-06
备注: Project Page: https://zhangbo135.github.io/EviSelect/
💡 一句话要点
提出EviSelect以解决长视频理解中的动态视觉选择问题
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长视频理解 动态视觉选择 稀疏预填充 多模态学习 机器学习
📋 核心要点
- 现有方法在长视频理解中依赖外部评分器和固定规则，导致与目标模型的内在证据不对齐，且无法处理时空信息密度的变化。
- 本文提出EviSelect框架，通过稀疏预填充和动态采样，基于MLLM内部注意力证据进行高效的视觉选择。
- EviSelect在三个长视频理解基准上表现优越，所选视觉标记减少约50%，并实现了3.9倍的加速，显示出显著的效率提升。
📝 摘要（中文）
近年来，基于MLLM的长视频理解在推理时间计算成本和上下文长度方面取得了进展，通过选择与查询相关的帧来优化。然而，现有方法主要依赖外部代理评分器和固定的启发式规则，导致与目标MLLM内在证据的不对齐，并无法适应非均匀的时空信息密度。本文提出了一种名为EviSelect的细粒度动态视觉选择框架，基于目标MLLM内部注意力证据。该方法通过稀疏预填充高效探测视觉证据，作为结构化先验引导分布感知的动态采样。通过在三个互补的注意力组件的基础上设计轻量级选择器，EviSelect不仅精确定位查询相关的时间戳，还能自适应调整局部采样率和空间分辨率。实验表明，EviSelect在三个长视频理解基准上表现优越，所选视觉标记减少约50%，实现了3.9倍的端到端加速。
🔬 方法详解
问题定义：本文解决的是长视频理解中动态视觉选择的效率问题。现有方法依赖外部评分和固定规则，导致信息利用不充分，且无法适应视频内容的时空信息密度变化。
核心思路：EviSelect通过基于目标MLLM内部注意力证据的动态选择框架，利用稀疏预填充作为结构化先验，指导动态采样，从而提高选择效率和准确性。
技术框架：整体架构包括三个主要模块：稀疏预填充模块、动态采样模块和轻量级选择器。稀疏预填充模块用于生成压缩的视觉输入，动态采样模块根据注意力证据进行选择，轻量级选择器则负责定位时间戳和调整采样率。
关键创新：EviSelect的创新在于通过内部注意力证据进行动态视觉选择，避免了传统方法的外部依赖，且能够自适应调整采样策略，显著提高了效率和准确性。
关键设计：选择器被设计为随机策略，并通过GRPO进行优化，损失函数结合了准确性和效率的奖励机制，鼓励在较低视觉成本下做出正确预测。
🖼️ 关键图片
📊 实验亮点
EviSelect在三个长视频理解基准上表现优越，所选视觉标记减少约50%，并实现了3.9倍的端到端加速，相较于现有方法显示出显著的性能提升。
🎯 应用场景
该研究具有广泛的应用潜力，尤其在视频监控、自动驾驶、智能家居等领域。通过高效的长视频理解，能够提升系统的响应速度和决策能力，未来可能推动更多智能应用的发展。
📄 摘要（原文）
Recent advancements in MLLM-based long-form video understanding have mitigated inference-time computational cost and limited context lengths by selecting query-relevant frames. However, existing approaches predominantly rely on external proxy scorers and rigid heuristic rules, inevitably suffering from misalignment with the target MLLM's intrinsic evidence and failing to accommodate the non-uniform spatiotemporal information density. In this paper, we propose a fine-grained dynamic visual selection framework named EviSelect, grounded in the target MLLM internal attention evidence. Our method efficiently probes visual evidence via sparse prefilling as a structured prior to guide distribution-aware dynamic sampling. Specifically, we efficiently approximate attention maps of the target MLLM using highly compressed visual inputs and sparse attention, well-aligned to the full counterpart. Conditioned on three complementary attention components derived from this prior, we design a lightweight selector that not only precisely locates query-relevant timestamps but also adaptively adjusts the local sampling rate and spatial resolution. To enable evidence-conditioned spatiotemporal sampling, we formulate the selector as a stochastic policy and optimize it via GRPO under a joint accuracy--efficiency reward. By rewarding correct predictions under lower visual cost through group-relative comparisons, our method encourages the policy to allocate computation dynamically according to the information density of each video. Across three long video understanding benchmarks, EviSelect achieves superior performance compared to existing methods while reducing selected visual tokens by about 50\% and achieving a 3.9x end-to-end speedup.