LongEgoRefer: A Benchmark for Long-Form Egocentric Video Referring Expression Comprehension

📄 arXiv: 2607.02096v1 📥 PDF

作者: Shunya Kato, Taiki Miyanishi, Shuhei Kurita, Mahiro Ukai, Nakamasa Inoue, Chenhui Chu

分类: cs.CV

发布日期: 2026-07-02

备注: ECCV 2026. Dataset and code: https://github.com/shunya-kato/LongEgoRefer

💡 一句话要点

提出LongEgoRefer基准以解决长视频中的指代表达理解问题

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 长视频理解 自我中心视频 指代表达理解 多模态学习 数据集构建 复杂人机交互 视频分析

📋 核心要点

  1. 现有的自我中心视频指代表达理解方法主要集中在短视频片段，无法有效处理长视频中的稀疏目标和复杂活动过渡。
  2. 本研究提出LongEgoRefer基准，专注于长形式自我中心视频，包含丰富的指代表达和复杂的人物-物体交互。
  3. 实验结果显示，当前最先进的模型在LongEgoRefer基准上表现不佳，强调了长视频理解模型的必要性和挑战性。

📝 摘要（中文）

本研究提出了LongEgoRefer，一个新的基准，旨在解决长形式自我中心视频中的指代表达理解问题。自我中心视频捕捉了丰富的人物与物体交互，然而现有的指代表达理解基准主要集中在短视频片段上，无法反映真实世界中的长视频特征。LongEgoRefer基于Ego4D数据集构建，包含1498个指代表达，平均视频时长为45分钟，展现了目标稀疏性、复杂的人物-物体交互和详细的语言描述。实验表明，现有的指代表达理解方法在该基准上表现不佳，突显了长视频理解的挑战性。

🔬 方法详解

问题定义：本研究旨在解决长形式自我中心视频中的指代表达理解问题。现有方法主要集中在短视频片段，无法有效处理长视频中的稀疏目标和复杂活动过渡，导致理解效果不佳。

核心思路：论文提出LongEgoRefer基准，利用Ego4D数据集中的长视频，构建包含复杂人机交互和详细语言描述的指代表达，以此挑战现有模型的理解能力。

技术框架：整体架构包括数据集构建、指代表达标注和模型评估三个主要模块。数据集包含1498个指代表达，平均视频时长为45分钟，模型评估则使用现有的指代表达理解方法进行对比。

关键创新：最重要的技术创新在于构建了一个针对长视频的指代表达理解基准，强调了长视频中的目标稀疏性和复杂性，这与现有短视频基准有本质区别。

关键设计：在模型评估中，采用了基于视觉-语言模型的无训练基线，并结合了Grounded SAM2，评估了不同模型在长视频指代表达理解中的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，现有的最先进模型在LongEgoRefer基准上表现不佳，准确率显著低于预期，强调了长视频理解的内在困难。这一发现促使研究者们重新思考视频理解模型的设计和训练方法。

🎯 应用场景

该研究的潜在应用领域包括智能监控、视频检索和人机交互等。通过提升长视频理解能力，能够更好地支持自动化视频分析、增强现实和虚拟现实等技术的发展，具有重要的实际价值和未来影响。

📄 摘要（原文）

Egocentric videos capture rich and diverse human-object interactions and have emerged as a fundamental resource for understanding human activities related to objects. In this context, Video Referring Expression Comprehension (Video REC), the task of localizing the temporal and spatial extent of a referred object in video frames given a natural language query, plays a key role in linking textual descriptions to observed objects in untrimmed egocentric recordings. However, existing egocentric Video REC benchmarks primarily focus on short video clips, where some target object appears densely within frames. Such settings do not reflect real-world egocentric recordings, which are long-form, untrimmed, and characterized by sparse object occurrences and complex activity transitions. To address this limitation, we introduce LongEgoRefer, a novel and challenging benchmark constructed from long-form videos in the Ego4D dataset. LongEgoRefer contains 1,498 referring expressions with an average video duration of 45 minutes. The benchmark exhibits extreme target sparsity, detailed linguistic descriptions, and complex human-object interactions embedded in long, dynamic egocentric narratives. Consequently, it defines a demanding spatio-temporal grounding problem that requires models to identify both when an event occurs and where the referred object appears within extended video sequences. We evaluate existing Video REC approaches, including training-free baselines based on vision-language models combined with Grounded SAM2. Extensive experiments show that even advanced baselines and current state-of-the-art models struggle significantly on LongEgoRefer. These results highlight the intrinsic difficulty of long-form egocentric spatio-temporal grounding and emphasize the need for more robust video understanding models.