Towards in-the-wild Egocentric 3D Hand-Object Pose Estimation

📄 arXiv: 2606.30598v1 📥 PDF

作者: Siddhant Bansal, Zhifan Zhu, Shashank Tripathi, Jiahe Zhao, Michael J. Black, Dima Damen

分类: cs.CV

发布日期: 2026-06-29

备注: Accepted at ECCV 2026; Project Page: https://sid2697.github.io/epic-contact/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出EPIC-Contact数据集与HOPformer模型以解决野外环境下的手-物体3D姿态估计问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 手-物体姿态估计 第一人称视觉 变换器模型 数据集构建 深度学习

📋 核心要点

  1. 现有的手-物体姿态估计方法在真实场景中面临严重的遮挡和模糊接触问题，难以实现准确的估计。
  2. 本文提出EPIC-Contact数据集和HOPformer模型，前者提供丰富的接触数据，后者通过变换器结构实现联合姿态预测。
  3. HOPformer在ARCTIC数据集上成功率达到82.4%，在EPIC-Contact上成功率几乎翻倍，显著降低了接触偏差。

📝 摘要（中文）

在野外环境中，从第一人称RGB图像中准确估计3D手-物体姿态仍然面临严重的遮挡和模糊的接触问题。现有的基于学习的方法往往难以推广到真实场景，并且受到监督稀缺的限制。为了解决这些问题，本文提出了两个重要贡献：首先，推出了EPIC-Contact，一个包含2300个视频片段（62300帧）的野外第一人称数据集，提供密集的双向3D手-物体接触对应关系和姿态网格；其次，提出了HOPformer，一个端到端的变换器模型，能够在单次前向传播中联合预测双手和物体的姿态。HOPformer在ARCTIC和EPIC-Contact数据集上的测试结果显示，成功率分别达到82.4%（比当前最优方法提高6.2个百分点）和几乎翻倍，同时接触偏差减少了75%。

🔬 方法详解

问题定义：本文旨在解决在野外环境中从第一人称RGB图像中准确估计3D手-物体姿态的问题。现有方法在处理遮挡和模糊接触时表现不佳，且缺乏足够的监督数据。

核心思路：提出EPIC-Contact数据集以提供丰富的接触信息，并设计HOPformer模型，通过跨注意力解码器将物体特征与手部先验结合，从而实现更鲁棒的姿态估计。

技术框架：HOPformer模型采用端到端的变换器架构，主要包括输入特征提取、跨注意力解码器和姿态预测模块，能够在单次前向传播中同时预测双手和物体的姿态。

关键创新：EPIC-Contact数据集的推出为手-物体接触提供了密集的双向对应关系，而HOPformer模型通过跨注意力机制显著提高了姿态估计的准确性，与现有方法相比具有本质的创新性。

关键设计：HOPformer模型的设计包括特定的损失函数以优化接触偏差，网络结构采用变换器架构以增强特征提取能力，确保在复杂场景中仍能保持高效的姿态估计。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

HOPformer在ARCTIC数据集上的成功率达到82.4%，比当前最优方法提高6.2个百分点；在EPIC-Contact数据集上，成功率几乎翻倍，同时接触偏差减少了75%，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、增强现实、机器人操控和人机交互等。通过准确的手-物体姿态估计，可以提升这些领域的用户体验和交互效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

Estimating accurate 3D hand-object pose from in-the-wild egocentric RGB remains challenging due to severe occlusions and ambiguous contact. Existing learning-based methods often struggle to generalise to in-the-wild scenes and are limited by the scarcity of supervision. We address these issues with two contributions. First, we introduce EPIC-Contact, an in-the-wild egocentric dataset of 2.3K clips (62.3K frames) with dense, bijective 3D hand-object contact correspondences and posed meshes. Second, we propose HOPformer, an end-to-end transformer that jointly predicts bi-manual hand and object pose in a single forward pass. A cross-attention decoder conditions object features on hand priors, producing robust pose estimation. We test HOPformer on the in-lab 3D dataset, ARCTIC, as well as our newly introduced EPIC-Contact dataset. HOPformer reaches 82.4% success rate on ARCTIC (+6.2 pts over current SOTA). On EPIC-Contact, it nearly doubles the success rate while reducing contact deviation by 75%. EPIC-Contact, HOPformer code and checkpoints are released: https://sid2697.github.io/epic-contact.