EgoActionBench: Benchmarking Dense Action Captioning for Egocentric Human Videos

📄 arXiv: 2611.03646v1 📥 PDF

作者: Yujiao Shen, Jiahe Song, Haitian Li, Jingkang Yang, Ziwei Liu

分类: cs.CV

发布日期: 2026-11-02

备注: 32 pages, 16 figures. Project page: https://egoaction-bench.github.io

💡 一句话要点

提出EgoActionBench以解决自我中心视频中的动作理解问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 自我中心视频 动作理解 基准测试 细粒度动作 人类数据 强化学习 动作注释

📋 核心要点

  1. 现有基准在动作原子性、时间精度和手部动作关联性方面存在显著不足，限制了自我中心视频中细粒度动作的理解。
  2. 提出EgoActionBench基准，通过将连续人类操作表示为与手部相关的时间局部化原子动作，提供更精确的动作注释和评估方法。
  3. 在EgoActionBench上基准测试20个模型，适配的Qwen3-VL-4B和LLaVA-OneVision-2-8B模型分别提高了15.9和23.2分，超越所有开源基线。

📝 摘要（中文）

学习人类数据为具身智能提供了可扩展的路径，但模型需要准确理解自我中心观察中的细粒度人类动作。现有基准在动作原子性、时间精度和手部动作关联性方面存在局限。我们提出EgoActionBench，这是一个基准，表示连续的人类操作为与左手、右手或双手相关的时间局部化原子动作。EgoActionBench包含1,407个情节和41,132个经过人类精炼的动作注释。为评估这些密集预测，我们提出了一种评估协议，检索时间上合适的候选项，通过内容一致性选择预测，并在动作精度和召回率的基础上评分语义保真度和时间重叠，全面捕捉发生了什么、何时发生以及哪个手执行。我们在EgoActionBench上基准测试了20个基线模型，并通过监督微调和强化学习对Qwen3-VL-4B和LLaVA-OneVision-2-8B两个骨干网络进行了适配。EgoAction在这两个骨干上分别提高了15.9和23.2分，且两个适配模型均优于所有开源基线。实验揭示了当前模型在动作原子性、时间精度和手部动作关联性方面的重大局限，突显了通用视频理解与具身智能所需的动作理解之间的差距。

🔬 方法详解

问题定义：本论文旨在解决自我中心视频中细粒度人类动作理解的问题。现有方法在动作原子性、时间精度和手部动作关联性方面存在显著不足，导致模型无法准确捕捉复杂的人类行为。

核心思路：论文提出EgoActionBench基准，通过将人类操作表示为与手部相关的时间局部化原子动作，增强了对动作的理解能力。该方法通过引入人类精炼的动作注释，确保了数据的高质量和准确性。

技术框架：EgoActionBench的整体架构包括数据收集、动作注释、评估协议和模型基准测试四个主要模块。首先，收集自我中心视频数据并进行人类注释；其次，设计评估协议以检索和评分预测；最后，基准测试多个模型以评估其性能。

关键创新：最重要的技术创新点在于引入了时间局部化的原子动作表示和新的评估协议。这与现有方法的本质区别在于，现有方法往往缺乏对动作细节的关注，而EgoActionBench则强调了时间和手部的关联性。

关键设计：在模型训练中，采用了监督微调和强化学习的结合，确保模型能够在自动注释的训练情节上进行有效学习。损失函数设计上，考虑了语义保真度、时间重叠、动作精度和召回率等多个指标，以全面评估模型性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，EgoAction在两个适配模型上分别提高了15.9和23.2分，显著优于所有开源基线。这表明EgoActionBench在动作理解任务中的有效性和创新性，揭示了当前模型在细粒度动作理解方面的局限性。

🎯 应用场景

该研究的潜在应用领域包括人机交互、智能监控和虚拟现实等。通过提高自我中心视频中动作理解的准确性，EgoActionBench可以为具身智能系统提供更可靠的支持，推动相关技术的发展与应用。

📄 摘要（原文）

Learning from human data offers a scalable path toward embodied intelligence, yet it requires models to accurately understand fine-grained human actions from egocentric observations. However, existing benchmarks remain limited in action atomicity, temporal precision, and hand-action association. We introduce EgoActionBench, a benchmark that represents continuous human manipulation as temporally localized atomic actions associated with the left hand, right hand, or both hands. EgoActionBench contains 1,407 episodes with 41,132 human-refined action annotations. To evaluate such dense predictions, we propose an evaluation protocol that retrieves temporally eligible candidates, selects a prediction by content agreement, and scores semantic fidelity and temporal overlap alongside action precision and recall, jointly capturing what happens, when it happens, and which hand performs it. We benchmark 20 baseline models and systems on EgoActionBench and further adapt two backbones, Qwen3-VL-4B and LLaVA-OneVision-2-8B, through supervised fine-tuning followed by reinforcement learning on automatically annotated training episodes. EgoAction improves EgoActionScore by 15.9 and 23.2 points on the two backbones, and both adapted models outperform all open-source baselines. Our experiments reveal substantial limitations of current models in action atomicity, temporal precision, and hand-action association, highlighting the gap between general video understanding and the action understanding required for embodied intelligence.