LongEgoRefer: A Benchmark for Long-Form Egocentric Video Referring Expression Comprehension
作者: Shunya Kato, Taiki Miyanishi, Shuhei Kurita, Mahiro Ukai, Nakamasa Inoue, Chenhui Chu
分类: cs.CV
发布日期: 2026-07-05
💡 一句话要点
提出LongEgoRefer以解决长视频自我中心引用表达理解问题
🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction) 支柱六：视频提取与匹配 (Video Extraction)
关键词: 长视频理解 自我中心视频 引用表达理解 时空定位 复杂交互 Ego4D数据集 视频分析
📋 核心要点
- 现有的自我中心视频引用表达理解方法主要集中在短视频片段，无法有效处理长视频中的稀疏目标和复杂活动转换。
- 本文提出LongEgoRefer基准，专注于长篇未剪辑视频，包含丰富的引用表达和复杂的人物与物体交互，推动Video REC研究的进展。
- 实验结果表明，现有的Video REC方法在LongEgoRefer上表现不佳，强调了长视频自我中心时空定位的内在困难，亟需更强大的视频理解模型。
📝 摘要（中文）
自我中心视频捕捉了丰富多样的人物与物体交互，成为理解与物体相关的人类活动的重要资源。在此背景下，视频引用表达理解（Video REC）任务旨在根据自然语言查询定位视频帧中被提及物体的时间和空间范围。然而，现有的自我中心Video REC基准主要集中在短视频片段上，这些片段中目标物体在帧内密集出现，无法反映真实世界中长篇未剪辑的自我中心录制的特征。为了解决这一局限性，本文提出了LongEgoRefer，一个基于Ego4D数据集中长视频构建的新基准，包含1498个引用表达，平均视频时长为45分钟。该基准展示了极端的目标稀疏性、详细的语言描述和复杂的人物与物体交互，定义了一个要求模型识别事件发生时间和被提及物体出现位置的挑战性时空定位问题。
🔬 方法详解
问题定义：本文旨在解决长视频自我中心引用表达理解中的时空定位问题。现有方法主要针对短视频，无法处理长视频中的稀疏目标和复杂活动转换，导致性能不足。
核心思路：提出LongEgoRefer基准，构建于Ego4D数据集之上，包含长达45分钟的视频和复杂的人物与物体交互，旨在推动模型在长视频中的时空理解能力。
技术框架：LongEgoRefer的整体架构包括数据集构建、引用表达标注和模型评估三个主要模块。数据集通过长视频片段提取引用表达，标注过程中注重语言描述的细致性和目标的稀疏性。
关键创新：最重要的技术创新点在于引入了长视频的时空定位问题，强调了复杂人机交互和动态叙事的挑战，与现有短视频基准的本质区别在于处理的复杂性和目标稀疏性。
关键设计：在实验中，采用了基于视觉-语言模型的无训练基线，结合Grounded SAM2进行评估，关键参数设置和损失函数设计旨在适应长视频的特性，确保模型能够有效识别事件发生的时间和被提及物体的位置。
🖼️ 关键图片
📊 实验亮点
实验结果显示，现有的Video REC方法在LongEgoRefer基准上表现不佳，尽管采用了先进的基线和当前最优模型，仍然面临显著挑战。这表明长视频自我中心时空定位的内在困难，强调了对更强大视频理解模型的需求。
🎯 应用场景
该研究的潜在应用领域包括智能监控、虚拟现实和人机交互等。通过提升长视频理解能力，LongEgoRefer可以为自动化视频分析、行为识别和增强现实等技术提供更强大的支持，推动相关领域的发展。
📄 摘要（原文）
Egocentric videos capture rich and diverse human-object interactions and have emerged as a fundamental resource for understanding human activities related to objects. In this context, Video Referring Expression Comprehension (Video REC), the task of localizing the temporal and spatial extent of a referred object in video frames given a natural language query, plays a key role in linking textual descriptions to observed objects in untrimmed egocentric recordings. However, existing egocentric Video REC benchmarks primarily focus on short video clips, where some target object appears densely within frames. Such settings do not reflect real-world egocentric recordings, which are long-form, untrimmed, and characterized by sparse object occurrences and complex activity transitions. To address this limitation, we introduce LongEgoRefer, a novel and challenging benchmark constructed from long-form videos in the Ego4D dataset. LongEgoRefer contains 1,498 referring expressions with an average video duration of 45 minutes. The benchmark exhibits extreme target sparsity, detailed linguistic descriptions, and complex human-object interactions embedded in long, dynamic egocentric narratives. Consequently, it defines a demanding spatio-temporal grounding problem that requires models to identify both when an event occurs and where the referred object appears within extended video sequences. We evaluate existing Video REC approaches, including training-free baselines based on vision-language models combined with Grounded SAM2. Extensive experiments show that even advanced baselines and current state-of-the-art models struggle significantly on LongEgoRefer. These results highlight the intrinsic difficulty of long-form egocentric spatio-temporal grounding and emphasize the need for more robust video understanding models.