G3Ego: Gaze-Guided Graphs for Egocentric Action Understanding

📄 arXiv: 2608.20157v1 📥 PDF

作者: Marko Haralović, Akash Ramakrishnan, Estefania Talavera Martinez

分类: cs.CV

发布日期: 2026-08-20

备注: Accepted at the CONTEXTUS Workshop, ECCV 2026

💡 一句话要点

提出G3Ego以解决第一人称动作理解中的实体识别问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 第一人称动作理解 图表示 注视引导 动作识别 多模态学习

📋 核心要点

  1. 现有方法通常依赖于大型视频模型，难以有效识别第一人称动作中的少量相关实体。
  2. G3Ego通过构建动作场景图并利用注视信息来识别和修剪无关实体，提供了一种新的理解方式。
  3. 在EGTEA Gaze+和MECCANO数据集上，G3Ego的表现优于视频基础方法，且在类别不平衡情况下提升了Macro-F1。

📝 摘要（中文）

第一人称动作理解通常依赖于在广泛的外部数据集上预训练的大型视频模型。然而，许多第一人称动作依赖于少量的手-物体交互，涉及的实体较少。本文提出G3Ego，一个基于图的框架，通过注视作为结构线索来识别场景中的动作相关实体。G3Ego从稀疏采样的帧中构建动作场景图，并利用注视信息修剪无关实体。实验结果表明，G3Ego在EGTEA Gaze+和MECCANO数据集上表现出竞争力，并在类别不平衡评估下持续提高Macro-F1，同时避免了对计算成本高昂的视频预训练的依赖。

🔬 方法详解

问题定义：本文解决的是第一人称动作理解中的实体识别问题，现有方法往往依赖于大型视频模型，难以有效处理少量相关实体的识别与理解。

核心思路：G3Ego的核心思路是利用注视作为结构线索，构建动作场景图，从而识别与动作相关的实体，并通过注视信息修剪无关的实体。

技术框架：G3Ego的整体架构包括从稀疏采样的帧中提取视觉-语言描述、基础对象和手部线索，构建动作场景图，并进行时间聚合以实现动作识别和预测。

关键创新：G3Ego的创新在于将注视直接融入图的构建过程，而非仅作为辅助模态或注意信号，从而生成高效且可解释的表示，专注于动作相关的交互。

关键设计：在设计中，G3Ego采用了特定的损失函数和网络结构，以优化图嵌入的质量，并确保在类别不平衡的情况下仍能保持良好的性能。具体的参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

G3Ego在EGTEA Gaze+和MECCANO数据集上的实验结果显示，其性能与视频基础方法相当，并在类别不平衡评估下Macro-F1指标持续提升，证明了注视引导的图表示在第一人称动作理解中的有效性。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、增强现实和人机交互等场景，能够帮助系统更好地理解用户的第一人称视角下的动作意图，提升交互体验和智能化水平。未来，G3Ego可能在机器人导航和自动化任务中发挥重要作用。

📄 摘要（原文）

Egocentric action understanding is often addressed using large video models pretrained on extensive exocentric datasets. However, many first-person actions depend on a small number of hand-object interactions involving only a few relevant entities. We propose G3Ego, a graph-based framework for egocentric action understanding that uses gaze as a structural cue to identify action-relevant entities in the scene. From sparsely sampled frames, G3Ego constructs action scene graphs from vision-language descriptions, grounded objects, and hand cues, and then prunes irrelevant entities using the camera wearer's gaze. The resulting graph embeddings are temporally aggregated for action recognition and anticipation. Unlike prior work that uses gaze primarily as an auxiliary modality or attention signal, G3Ego incorporates gaze directly into graph construction, producing efficient and interpretable representations focused on action-relevant interactions. Experiments on EGTEA Gaze+ and MECCANO show that G3Ego achieves competitive performance compared with video-based approaches and consistently improves Macro-F1 under class-imbalanced evaluation, while avoiding reliance on computationally expensive video pretraining. These results demonstrate the effectiveness of gaze-guided graph representations for egocentric action understanding.