EARS: Evidence-Aware Retrieval via Sound and Motion for Budgeted Video Reasoning

📄 arXiv: 2610.35536v1 📥 PDF

作者: Shih-Yao Lin

分类: cs.CV

发布日期: 2026-10-26

备注: 20 pages, 8 figures. Code: https://github.com/mikeslin-ir/EARS

🔗 代码/项目: GITHUB

💡 一句话要点

提出EARS以解决预算视频推理中的证据检索问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 视频推理 证据检索 多模态融合 光流分析 音频处理

📋 核心要点

  1. 现有方法在处理稀疏事件视频时，均匀帧采样可能会错过重要的短暂证据，影响推理效果。
  2. EARS通过光流运动和音频能量对帧进行排序，并应用时间非极大值抑制来提高多样性，解决了这一问题。
  3. 实验结果表明，EARS在帧选择上显著提升了定位精度，AP达到0.94，相较于均匀采样的0.88有明显改善。

📝 摘要（中文）

在稀疏事件视频中，均匀帧采样可能会错过短暂证据，尤其是在VLM仅查看K帧的情况下。本文提出EARS（基于声音和运动的证据感知检索），这是一个无训练、无查询的前端，通过光流运动和音频能量对帧进行排序，然后应用时间非极大值抑制以提高多样性。仅凭证据分数，EARS在帧级别的AP为0.39；作为VLM的帧选择工具，EARS在时间多样性下达到定位AP 0.94，相较于均匀采样的0.88。在更新的匹配研究中，当K=1时，EARS的XD子集F1达到0.660，而中心均匀为0.614（配对区间包括零）；早期的基础研究使用了不同的协议。然而，在大多数静音的UCF-Crime数据集上，EARS略微落后于均匀采样。EARS针对的是那些显著证据与运动或音频对齐的低预算视频；在密集叙事或隐秘事件中，均匀或语义选择仍然更可取，且廉价的模态统计无法可靠地在两者之间进行路由。

🔬 方法详解

问题定义：本文旨在解决在预算视频推理中，均匀帧采样导致的短暂证据丢失问题。现有方法在处理稀疏事件视频时，无法有效捕捉到重要信息。

核心思路：EARS的核心思路是利用光流运动和音频能量对视频帧进行排序，从而识别出最具证据性的帧。通过这种方式，EARS能够在不需要训练和查询的情况下，提升视频推理的效果。

技术框架：EARS的整体架构包括帧排序模块和时间非极大值抑制模块。首先，通过光流和音频能量对帧进行评分，然后应用非极大值抑制来确保选择的帧具有多样性。

关键创新：EARS的主要创新在于其无训练、无查询的设计，使其能够在低预算视频中有效提取与运动或音频相关的证据。这与传统方法依赖于均匀采样或复杂的语义选择形成鲜明对比。

关键设计：在参数设置上，EARS使用了光流和音频能量的组合评分机制，确保了帧选择的有效性。损失函数和网络结构方面，EARS采用了简单而高效的设计，避免了复杂的训练过程。整体上，EARS在不同基准测试中保持了一致的配置。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

EARS在帧选择上表现出色，定位AP达到0.94，相较于均匀采样的0.88有显著提升。在K=1的情况下，EARS的XD子集F1为0.660，优于中心均匀的0.614，显示出其在低预算视频推理中的有效性。

🎯 应用场景

EARS的研究成果在视频监控、事件检测和安全分析等领域具有广泛的应用潜力。通过有效提取视频中的关键证据，EARS能够帮助提升对稀疏事件的理解和响应能力，尤其是在资源受限的情况下。未来，EARS的设计理念也可以扩展到其他多模态数据处理任务中。

📄 摘要（原文）

Uniform frame sampling can miss brief evidence in sparse-event videos when the VLM sees only K frames. We propose EARS (Evidence-Aware Retrieval via Sound and motion), a training-free, query-free front-end that ranks frames using optical-flow motion and audio energy, then applies temporal non-maximum suppression for diversity. The evidence score alone has frame-level AP 0.39; used only to select frames for the VLM, EARS with temporal diversity reaches localization AP 0.94, compared with 0.88 under Uniform sampling. In the updated matched study, at K = 1 EARS reaches XD-subset F1 0.660 versus 0.614 for centered Uniform (the paired interval includes zero); earlier backbone studies use separate protocols. On mostly-silent UCF-Crime, however, EARS slightly trails Uniform. A single configuration is used across both benchmarks; the new controls do not repeat the original held-out search. EARS therefore targets low-budget videos whose salient evidence aligns with motion or audio; on dense narratives or stealthy events, uniform or semantic selection remains preferable, and cheap modality statistics cannot reliably route between them. Code: https://github.com/mikeslin-ir/EARS