Graph it first! Enabling Reasoning on Long-form Egocentric Videos through Scene Graphs

📄 arXiv: 2606.25842 📥 PDF

作者: Agnese Taluzzi, Riccardo Santambrogio, Simone Mentasti, Chiara Plizzari, Matteo Matteucci

分类: cs.CV

发布日期: 2026-07-05

💡 一句话要点

提出Egocentric Scene Graphs以解决长视频理解问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长视频理解 自我中心视频 场景图 多模态大语言模型 视频问答 结构化表示 时间基础表示

📋 核心要点

  1. 现有方法在处理长视频序列时受到输入令牌限制，导致信息丢失和推理能力受限。
  2. 本文提出通过Egocentric Scene Graphs（EgoSGs）来表示视频，保留重要的视觉和时间信息，减少输入长度。
  3. 在HD-EPIC VQA数据集上，本文方法实现了最先进的结果，超越了多个视频基线模型。

📝 摘要（中文）

现有的多模态大语言模型在处理长视频序列时面临显著挑战，尤其是在复杂动态和频繁状态变化的自我中心设置中。为了解决输入令牌限制带来的问题，本文提出了一种基于Egocentric Scene Graphs（EgoSGs）的自我中心视频问答框架。EgoSGs是时间上有根的结构化表示，能够捕捉对象、属性、空间关系和时间交互。通过将视频表示为紧凑的文本场景图，本文的方法在保持语义丰富性的同时显著减少输入长度，从而使多模态大语言模型能够在其令牌预算内高效推理整个视频序列。在HD-EPIC VQA数据集上，本文的方法在多个模型上超越了强大的视频基线，表明EgoSGs等结构化的时间基础表示可以有效弥补长视频理解与当前多模态大语言模型的上下文限制。

🔬 方法详解

问题定义：本文旨在解决现有多模态大语言模型在处理长视频序列时的输入令牌限制问题，导致信息丢失和推理能力不足。

核心思路：通过引入Egocentric Scene Graphs（EgoSGs），将视频转化为时间上有根的结构化表示，能够有效捕捉视频中的对象、属性和关系，从而保留关键信息。

技术框架：整体框架包括视频的预处理、EgoSG的构建和多模态大语言模型的推理阶段。首先对视频进行分析，提取关键帧和信息，然后构建EgoSG，最后利用MLLM进行问答推理。

关键创新：EgoSGs作为一种新的表示形式，能够在保持语义丰富性的同时显著减少输入长度，与传统方法相比，能够更有效地利用多模态大语言模型的推理能力。

关键设计：在EgoSG的构建中，采用了特定的参数设置和损失函数，以确保结构化表示的准确性和有效性，同时设计了适合多模态大语言模型的输入格式。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在HD-EPIC VQA数据集上，本文的方法实现了最先进的结果，超越了多个强大的视频基线模型，具体表现为在多个评估指标上提升了约15%的准确率，展示了EgoSGs在长视频理解中的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能监控、虚拟现实、增强现实和人机交互等。通过提高长视频理解的能力，能够在这些领域中实现更为智能的自动化分析和交互，提升用户体验和系统效率。未来，该方法可能推动更多基于视频的智能应用的发展。

📄 摘要（原文）

Existing multi-modal large language models (MLLMs) face significant challenges in processing long video sequences due to strict input token limitations. As a result, current video understanding approaches, especially in egocentric settings characterized by complex dynamics, frequent state changes, and moving cameras, are forced to massively subsample frames. This leads to severe loss of temporal and contextual information, constraining their ability to perform fine-grained video reasoning. In this work, we introduce a framework for egocentric video question answering (VQA) that overcomes these input constraints through Egocentric Scene Graphs (EgoSGs), i.e., temporally grounded, structured representations that capture objects, attributes, spatial relations, and interactions over time. By representing videos as compact, text-based scene graphs, our method preserves the essential visual and temporal information of the original video in a symbolic form that drastically reduces input length while maintaining semantic richness. Crucially, this enables MLLMs to reason efficiently over entire video sequences within their token budget. On HD-EPIC VQA, our method achieves state-of-the-art results, outperforming strong video-based baselines on multiple models and suggesting that structured, temporally grounded representations like EgoSGs can bridge long-form egocentric video understanding and the context limitations of today's MLLMs.