EgoMonth: A Month-Level Egocentric Video Benchmark for Long-Term Spatiotemporal Memory
作者: Weitao Chen, Hu Jiaxin, Xie Tianyidan, Yang Li, Yuyi Qian, Banghao Xu, Ziheng Tang, Shenyi Wang, Mingyue Yu, Duo Li, Jiacheng Shi, Gao Wang, Zhan Xu, Zhicheng Qiu, Xuanfu Li, Jian Yang, Lanjun Wang, Zili Yi
分类: cs.CV, cs.AI
发布日期: 2026-08-13
备注: 21 pages, 4 figures, 6 tables, including appendices
💡 一句话要点
提出EgoMonth以解决长视频理解中的记忆一致性问题
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长视频理解 第一人称视频 时空记忆 认知评估 多模态学习 视频基准 机器学习
📋 核心要点
- 现有视频理解基准缺乏时空连续性，难以评估模型在长时间内的记忆能力。
- EgoMonth基准通过提供300小时的第一人称视频和认知任务，旨在评估长时记忆的保持能力。
- 实验结果表明，当前最先进的模型在多项任务上表现不佳，显示出其作为信息摘要器而非真实记忆者的局限性。
📝 摘要（中文）
随着多模态大型语言模型（MLLMs）的进步，视频理解取得了显著进展，但现有基准主要依赖于缺乏时空连续性的视频，难以评估模型在真实世界中是否能保持一致的记忆。本文提出EgoMonth，这是首个基于月度的第一人称视频理解基准，包含来自20名参与者的300小时日常生活录制，时间跨度为20到120天，并配有1443个人工设计的多项选择问答对。我们设计了一个认知基础的14任务评估框架，分为三层次：模式巩固、情节索引和级联推理。评估结果显示，即使是表现最好的模型，Gemini 2.5 Pro，宏观平均准确率也仅为71.8%，远低于94.2%的修正人类基线。
🔬 方法详解
问题定义：本文旨在解决现有视频理解基准在时空连续性方面的不足，尤其是如何评估模型在长时间内的记忆一致性。现有方法多依赖于网络视频，缺乏真实场景的连续性，导致模型无法有效捕捉长时记忆。
核心思路：EgoMonth基准通过收集第一人称日常生活视频，结合认知心理学的任务设计，提供了一个更具挑战性的评估框架，以测试模型的长期记忆能力。
技术框架：该框架包括三个层次的任务：模式巩固、情节索引和级联推理，旨在全面评估模型在不同认知层面的表现。每个层次包含多个具体任务，确保评估的多样性和深度。
关键创新：EgoMonth是首个月级别的第一人称视频理解基准，填补了现有基准在长时记忆评估方面的空白。与传统基准相比，它更关注模型在真实场景中的记忆保持能力。
关键设计：在任务设计中，采用了1443个多项选择问答对，涵盖了多种认知任务，确保评估的全面性。同时，评估过程中使用了多种开源和闭源的MLLMs进行对比，提供了丰富的实验数据。
🖼️ 关键图片
📊 实验亮点
实验结果显示，最先进的模型Gemini 2.5 Pro在EgoMonth基准上的宏观平均准确率仅为71.8%，与人类基线94.2%相差22.4个百分点。多个模型在路线推理、跨视角空间推理和方向判断等任务上表现接近或低于25%的随机水平，表明当前模型在长时记忆方面的显著不足。
🎯 应用场景
EgoMonth基准的提出为视频理解领域提供了新的评估标准，尤其在长时记忆和认知推理方面具有重要应用价值。该研究可广泛应用于智能监控、虚拟现实、教育培训等领域，推动相关技术的发展与应用。未来，随着模型架构的改进，EgoMonth有望促进更高效的长时记忆模型的设计与实现。
📄 摘要（原文）
Recent advances in Multimodal Large Language Models (MLLMs) have led to substantial progress in video understanding, accompanied by a growing number of long video benchmarks. However, existing benchmarks rely predominantly on web-sourced videos that lack inter-clip spatiotemporal continuity, making it difficult to assess whether models can maintain consistent memory across days or weeks of real-world experience. We introduce EgoMonth, the first month-level egocentric video understanding benchmark. EgoMonth comprises over 300 hours of first-person daily-life recordings from 20 participants spanning 20 to 120 days, paired with 1,443 human-crafted multiple-choice question-answer pairs. We design a cognitively grounded 14-task evaluation framework organized into three hierarchical cognitive levels: Schema Consolidation, Episodic Indexing, and Cascading Reasoning. Evaluation of state-of-the-art open-source and closed-source MLLMs reveals that even the best-performing model, Gemini 2.5 Pro, achieves only 71.8% macro-average accuracy, remaining 22.4 percentage points below the corrected human baseline of 94.2%. Several models perform near or below the 25% chance level on tasks such as Route Reasoning, Cross-view Spatial Reasoning, and Direction Judgement, while even the strongest closed-source model remains substantially below human performance. These results indicate that current MLLMs function as lossy summarizers rather than faithful memorizers, highlighting the need for architectures with genuine long-term spatiotemporal memory.