Graph it first! Enabling Reasoning on Long-form Egocentric Videos through Scene Graphs
作者: Agnese Taluzzi, Riccardo Santambrogio, Simone Mentasti, Chiara Plizzari, Matteo Matteucci
分类: cs.CV
发布日期: 2026-06-24
💡 一句话要点
提出场景图方法以解决长视频理解中的信息损失问题
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长视频理解 自我中心场景图 视频问答 多模态大语言模型 信息保留
📋 核心要点
- 现有方法在处理长视频序列时，由于输入令牌限制，导致严重的信息损失，影响视频理解的精细推理能力。
- 本文提出了一种基于自我中心场景图的框架，通过结构化表示捕捉视频中的对象、属性、空间关系和交互，克服了输入限制。
- 在HD-EPIC VQA数据集上，所提方法实现了最先进的结果，超越了多个强基线模型，展示了EgoSGs的有效性。
📝 摘要（中文）
现有的多模态大语言模型在处理长视频序列时面临显著挑战，尤其是在复杂动态和频繁状态变化的自我中心视频环境中。为了解决输入令牌限制带来的信息损失问题，本文提出了一种基于自我中心场景图（EgoSGs）的框架，用于自我中心视频问答（VQA）。该方法通过将视频表示为紧凑的文本场景图，保留了原始视频的视觉和时间信息，显著减少了输入长度，同时保持了语义丰富性。实验结果表明，该方法在HD-EPIC VQA数据集上实现了最先进的结果，超越了多个视频基线模型，表明EgoSGs能够有效弥补长视频理解与当前多模态语言模型的上下文限制。
🔬 方法详解
问题定义：本文旨在解决现有多模态大语言模型在处理长视频序列时面临的输入令牌限制问题。现有方法通常需要大量下采样帧，导致时间和上下文信息的严重丢失，从而限制了视频的精细推理能力。
核心思路：论文提出的核心思路是使用自我中心场景图（EgoSGs）作为视频的结构化表示。这种表示方式能够在保持语义丰富性的同时，显著减少输入长度，从而使多模态大语言模型能够在其令牌预算内高效推理整个视频序列。
技术框架：整体架构包括三个主要模块：视频帧的提取与处理、场景图的构建以及基于场景图的问答推理。首先，从视频中提取关键帧，然后构建包含对象、属性和关系的场景图，最后利用多模态大语言模型进行问答推理。
关键创新：最重要的技术创新点在于提出了自我中心场景图（EgoSGs），这种结构化的时间基础表示能够有效捕捉视频中的动态信息，与传统的帧序列处理方法形成鲜明对比。
关键设计：在设计中，关键参数包括场景图的构建算法、对象和关系的选择标准，以及损失函数的设计，确保模型在训练过程中能够有效学习到视频的时间和空间信息。
🖼️ 关键图片
📊 实验亮点
在HD-EPIC VQA数据集上，所提方法实现了最先进的结果，超越了多个强视频基线模型，具体表现为在多个模型上均有显著提升，验证了EgoSGs在长视频理解中的有效性。
🎯 应用场景
该研究的潜在应用领域包括智能监控、虚拟现实和人机交互等场景，能够提升视频理解的准确性和效率。通过有效处理长视频序列，该方法有助于实现更复杂的任务，如自动视频摘要和事件检测，未来可能在多个行业中产生深远影响。
📄 摘要（原文）
Existing multi-modal large language models (MLLMs) face significant challenges in processing long video sequences due to strict input token limitations. As a result, current video understanding approaches, especially in egocentric settings characterized by complex dynamics, frequent state changes, and moving cameras, are forced to massively subsample frames. This leads to severe loss of temporal and contextual information, constraining their ability to perform fine-grained video reasoning. In this work, we introduce a framework for egocentric video question answering (VQA) that overcomes these input constraints through Egocentric Scene Graphs (EgoSGs), i.e., temporally grounded, structured representations that capture objects, attributes, spatial relations, and interactions over time. By representing videos as compact, text-based scene graphs, our method preserves the essential visual and temporal information of the original video in a symbolic form that drastically reduces input length while maintaining semantic richness. Crucially, this enables MLLMs to reason efficiently over entire video sequences within their token budget. On HD-EPIC VQA, our method achieves state-of-the-art results, outperforming strong video-based baselines on multiple models and suggesting that structured, temporally grounded representations like EgoSGs can bridge long-form egocentric video understanding and the context limitations of today's MLLMs.