EgoSAT: A Comprehensive Benchmark of Egocentric Streaming Interaction Understanding
作者: Yijia Lei, Jinzhao Li, Yichi Zhang, Jiacheng Hua, Yin Li, Miao Liu
分类: cs.CV
发布日期: 2026-06-23
备注: Accepted to ECCV 2026. Project page: https://leiyj23.github.io/EgoSAT/
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出EgoSAT以解决自我中心视频流交互理解问题
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)
关键词: 自我中心视频 流媒体理解 视觉-语言模型 时间推理 交互理解 基准测试 动态上下文
📋 核心要点
- 现有方法在处理流媒体视频时，往往无法有效理解动态变化的视觉信息，尤其是在时间推理方面存在显著不足。
- EgoSAT通过统一多个任务，设计了一个流媒体框架，使模型能够在过去、现在和未来的上下文中进行推理，提升了交互理解能力。
- 实验结果表明，现有模型在前瞻性和回顾性建模方面表现不佳，且存在严重的置信度失调，导致错误的自信行为。
📝 摘要（中文）
我们介绍了EgoSAT，这是第一个针对流媒体环境下自我中心视频推理的综合基准，旨在评估现代视觉-语言模型（VLMs）的能力。该基准专注于流媒体交互理解，视频帧按顺序到达，模型必须持续解释不断变化的视觉上下文。EgoSAT将多个先前独立的任务统一在一个流媒体框架内，要求模型在仅能访问先前观察到的帧的约束下，对过去、现在和未来进行推理。EgoSAT包含1,997个独特视频，涵盖165小时的自我中心录像和约4,800个高质量问答对，旨在探测不同时间上下文下的推理能力。通过该基准，我们评估了一系列开放权重和闭合权重的VLMs，系统性地评估它们在流媒体交互理解方面的能力。
🔬 方法详解
问题定义：论文要解决的问题是如何在流媒体环境下有效理解自我中心视频中的交互信息。现有方法在处理动态视觉信息时，往往无法进行有效的时间推理，导致理解能力不足。
核心思路：论文提出EgoSAT基准，通过将多个独立任务整合到一个统一的流媒体框架中，使得模型能够在不同时间上下文中进行推理。这种设计使得模型不仅能理解过去的事件，还能实时分析当前活动，并对未来行为进行预测。
技术框架：EgoSAT的整体架构包括视频帧的顺序输入、动态上下文的持续解释以及基于时间的问答生成。主要模块包括视频处理模块、上下文理解模块和问答生成模块，确保模型能够在流媒体环境中有效工作。
关键创新：EgoSAT的最大创新在于其统一的流媒体框架，允许模型在仅访问先前帧的情况下进行全面的时间推理。这与现有方法的独立任务处理方式形成鲜明对比，显著提升了模型的理解能力。
关键设计：在设计中，EgoSAT采用了高质量的问答对，确保问题涵盖不同时间维度的推理需求。此外，模型的置信度评估机制被引入，以诊断模型在回答时的信心与实际可回答性之间的差距。
🖼️ 关键图片
📊 实验亮点
实验结果显示，现有模型在EgoSAT基准上的表现不佳，尤其是在前瞻性和回顾性推理方面，模型的置信度常常与实际可回答性不符，导致错误的自信行为。这一发现强调了模型在流媒体交互理解中的不足，为未来的研究指明了方向。
🎯 应用场景
EgoSAT的研究成果在多个领域具有潜在应用价值，包括智能监控、虚拟现实、教育培训等场景。通过提升模型对流媒体视频的理解能力，可以更好地支持实时交互和决策，推动智能系统的进一步发展。未来，该基准可能成为评估和改进视觉-语言模型的重要工具，促进相关技术的进步。
📄 摘要（原文）
We introduce EgoSAT, the first comprehensive benchmark for egocentric video reasoning in streaming settings, designed to evaluate the capabilities of modern vision-language models (VLMs). The benchmark targets streaming interaction understanding, where video frames arrive sequentially and models must continuously interpret evolving visual context. EgoSAT unifies several previously distinct tasks within a single streaming framework. In this formulation, queries about completed events correspond to retrospective reasoning, queries about ongoing activities require online understanding, and queries about future actions involve prospective anticipation. This unified setting requires models to reason about the past, present, and future while operating under the constraint that only previously observed frames are available. EgoSAT contains 1,997 unique videos spanning 165 hours of egocentric footage and around 4,800 high-quality question-answer pairs, carefully designed to probe reasoning across varying temporal contexts. Using this benchmark, we evaluate a diverse set of both open-weight and closed-weight VLMs, providing a systematic assessment of their ability for streaming interaction understanding. By distinguishing answerability and conducting diagnostics on confidence of models, we find existing models not only struggle with prospective and retrospective modeling, but also exhibit severe mis-calibration: confidence often fails to track inherent answerability, leading to dangerous "confidently wrong" behaviors. Project page: https://leiyj23.github.io/EgoSAT/