R4DSG: Relative 4D Scene Graph Memory for Object-Centric Question Answering in Long Egocentric Video
作者: Ke Ma, Yamin Mao, Weiming Li, Shuai Tan, Yijie Zhong, Hao Chen, Haofen Wang, Meng Wang
分类: cs.CV, cs.AI, cs.HC, cs.MM
发布日期: 2026-08-11
备注: 10 pages, 3 figures, ACM Multimedia 2026, egocentric video; 3D scene graph; temporal memory; graph retrieval; object-state reasoning; multimodal question answering
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出相对4D场景图记忆以解决长时间自我中心视频中的对象中心问答问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction)
关键词: 长视频理解 对象中心问答 场景图记忆 可穿戴AI 增强现实 多模态学习
📋 核心要点
- 现有方法在处理长时间自我中心视频中的对象中心问题时，无法有效保持对象身份和空间变化信息。
- R4DSG通过引入相对4D场景图记忆，将视频转换为按时间和空间索引的可查询记忆条目，分离稳定锚点与动态对象。
- 在EgoLifeQA数据集上，R4DSG在问题检索任务中表现优异，整体提升6.7分，时间相关问题提升12.5分，验证了其有效性。
📝 摘要（中文）
长时间自我中心视频为可穿戴AI助手提供了丰富的基础，但对象中心问题如物品移动位置、状态变化时间或重新定位原因等仍然困难，因为基于字幕和转录的记忆通常无法保持持久的对象身份或结构化的空间变化。现有的长视频问答方法主要强调时间定位和片段检索，而先前的3D场景图方法通常假设比自由运动的可穿戴RGB视频更强的几何信息。R4DSG引入了一种相对4D场景图记忆，旨在将视频转换为可查询的紧凑记忆条目，按时间、地点、持久对象、锚点相对变化和局部交互上下文进行索引。该方法在EgoLifeQA的255个对象相关子集上进行评估，显示出在仅基于问题的检索中，相较于EgoRAG-Text整体提升6.7分，在时间相关问题上提升12.5分，突显了时间组织对象记忆的价值。
🔬 方法详解
问题定义：本论文旨在解决长时间自我中心视频中的对象中心问答问题，现有方法在保持对象身份和空间变化方面存在显著不足，导致无法准确回答相关问题。
核心思路：R4DSG的核心思路是通过相对4D场景图记忆，将视频信息转化为可查询的记忆条目，分离稳定的锚点与动态对象，以保持对象身份的持久性。
技术框架：该方法的整体架构包括视频处理模块、记忆条目生成模块和检索模块。视频处理模块负责提取视频中的对象信息，记忆条目生成模块将这些信息按时间和空间进行索引，检索模块则用于回答用户提出的问题。
关键创新：R4DSG的主要创新在于引入相对4D场景图记忆，区别于传统方法，该方法不依赖于全局对齐的世界模型，而是通过锚点相对变化来表示对象状态。
关键设计：在设计中，采用了基于RGB的最新视频分割技术，结合时间传播和相对3D提升，确保生成的记忆条目能够直接用于长时间问答任务。
🖼️ 关键图片
📊 实验亮点
在EgoLifeQA数据集上，R4DSG在仅基于问题的检索任务中实现了6.7分的整体提升，相较于EgoRAG-Text，时间相关问题的提升幅度更是达到12.5分，显示出其在时间组织对象记忆方面的显著优势。
🎯 应用场景
该研究的潜在应用领域包括可穿戴AI助手、增强现实系统和具身多媒体代理等。通过提供更准确的对象中心问答能力，R4DSG能够提升用户体验，推动智能助手在日常生活中的应用，具有重要的实际价值和未来影响。
📄 摘要（原文）
Long-horizon egocentric video is a rich substrate for wearable AI assistants, but object-centric questions such as where an item was moved, when it last changed state, or why it was relocated remain difficult because caption- and transcript-based memories rarely preserve persistent object identity or structured spatial change. Existing long-video QA methods mainly emphasize temporal grounding and clip retrieval, while prior 3D scene-graph methods typically assume stronger geometry than free-motion wearable RGB video provides, including point clouds, RGB-D input, posed views, sparse reconstruction, or reconstructed scenes. R4DSG introduces a relative 4D scene graph memory for long egocentric video. Instead of storing raw graph sequences, R4DSG converts video into compact queryable memory entries indexed by time, place, persistent objects, anchor-relative change, and local interaction context. The main idea is to separate stable anchors from dynamic objects, maintain persistent object identity across frames, and represent object state through anchor-relative transitions rather than a globally aligned world model. Built on recent RGB-only advances in promptable video segmentation, temporal propagation, and relative 3D lifting, the method produces a retrieval-ready memory directly usable for long-horizon question answering. Evaluation on a 255-question object-related subset from EgoLifeQA shows, under question-only retrieval, a 6.7-point overall gain over EgoRAG-Text and a 12.5-point gain on when questions, which highlights the value of temporally organized object memory. These results position relative 4D scene graphs as a practical memory substrate for wearable assistants, AR systems, and embodied multimedia agents. GitHub Page: https://dualtransparency.github.io/R4DSG/.