EgoGapBench: Benchmarking Egocentric Action Selection in Multi-Agent Scenes

📄 arXiv: 2607.00547v1 📥 PDF

作者: Jihyeok Jung, Jeewu Lee, Sanghyeop Kim, Chanhee Han, Seong Joon Oh

分类: cs.CV, cs.AI

发布日期: 2026-07-01

备注: 15 pages, 2 figures, 8 tables. Code and benchmark are available at https://github.com/jhCOR/EgoGapBench

💡 一句话要点

提出EgoGapBench以解决多智能体场景中的自我中心动作选择问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 自我中心动作选择 多智能体场景 基准测试 机器学习 智能体决策

📋 核心要点

  1. 现有方法主要依赖第一人称视角数据，难以独立评估自我中心视角的理解能力。
  2. 本文提出EgoGapBench基准，专注于多智能体场景中的自我中心动作选择能力评估。
  3. 实验显示人类表现优于现有的MLLMs，微调EgoGapBench数据能提高准确性但未达人类水平。

📝 摘要（中文）

现有的自我中心基准主要基于第一人称视角数据构建，这使得难以单独评估自我中心视角的理解能力。本文提出EgoGapBench，一个用于测量多智能体自我中心场景中动作选择的诊断基准。我们定义该基准测量的能力为自我中心动作选择（EAS）：在其他智能体存在的情况下，从智能体的视角选择适当的动作。实验结果表明，人类在EgoGapBench上表现可靠，而现有的开源和专有的多模态大语言模型（MLLMs）表现显著较差，系统性地选择其他可见智能体的动作。对现有自我中心数据的微调未能缩小这一差距，甚至可能有害。相反，在EgoGapBench训练数据上微调可以提高准确性，但仍未达到人类表现。这些结果表明，仅从第一人称视角数据中获取EAS是困难的，MLLMs应在场景理解和自我中心动作选择方面进行评估和训练。

🔬 方法详解

问题定义：本文旨在解决如何在多智能体场景中有效评估自我中心动作选择（EAS）的问题。现有方法主要依赖第一人称视角数据，无法独立评估自我中心视角的理解能力，导致模型在复杂场景中的表现不佳。

核心思路：论文提出EgoGapBench基准，通过设计特定的任务来隔离自我中心视角理解的能力，允许研究者评估智能体在多智能体环境中的动作选择能力。

技术框架：EgoGapBench的整体架构包括数据集构建、任务设计和评估指标。数据集包含多种多智能体场景，任务设计则聚焦于从智能体视角选择适当动作，评估指标则用于量化模型的表现。

关键创新：EgoGapBench的最大创新在于其专注于自我中心动作选择的能力评估，而非仅仅依赖于场景理解。这种方法允许更细致地分析智能体在复杂环境中的决策过程。

关键设计：在模型训练中，使用了特定的损失函数来优化自我中心动作选择的准确性，并设计了适应多智能体场景的网络结构，以提高模型在EgoGapBench上的表现。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，人类在EgoGapBench上的表现显著优于现有的开源和专有MLLMs，后者在动作选择上表现不佳，系统性地选择其他智能体的动作。微调EgoGapBench训练数据能提高模型的准确性，但仍未达到人类的表现水平，表明EAS的获取难度。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、虚拟现实和人机交互等。通过提升智能体在复杂多智能体环境中的自我中心动作选择能力，可以显著改善智能体的决策质量和交互体验，推动相关技术的发展与应用。

📄 摘要（原文）

Existing egocentric benchmarks have primarily constructed the egocentric setting from first-person-view data, which makes it difficult to evaluate egocentric perspective itself in isolation. However, understanding first-person-view input and taking an egocentric perspective are separable abilities, especially when first-person body cues are absent or when other agents are present. To isolate egocentric perspective understanding, we introduce EgoGapBench, a diagnostic benchmark for measuring action selection in multi-agent egocentric scenes. We define the ability measured by this benchmark as Egocentric Action Selection (EAS): selecting an appropriate action from the agent's perspective in the presence of other agents. On EgoGapBench, humans answer reliably, whereas both open-source and proprietary MLLMs perform substantially worse and systematically select actions performed by other visible agents. Fine-tuning on existing egocentric data fails to close this gap and can even be detrimental. In contrast, fine-tuning on EgoGapBench training data improves accuracy but does not reach human performance. These results show that EAS is difficult to acquire from first-person-view data alone, and that MLLMs should be evaluated and trained not only for scene understanding but also for egocentric action selection.