EgoHSI3R: Online 4D Hand-Scene Interaction Reconstruction from Egocentric Video

📄 arXiv: 2610.40832v1 📥 PDF

作者: Mingzhi Pei, Zhangchen Ye, Ruoqu Chen, Liu Cao, Mengdi Xu

分类: cs.CV

发布日期: 2026-10-29

💡 一句话要点

提出EgoHSI3R以解决手-场景交互重建问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 手-场景交互 自我中心视频 递归场景表示 MANO模型 实时重建 计算机视觉 虚拟现实 增强现实

📋 核心要点

  1. 现有方法往往只关注相机帧手部或世界空间手部轨迹，未能有效地共同恢复场景信息和交互数据。
  2. EgoHSI3R通过递归场景表示和手部中心提示，联合估计相机运动、场景几何和手部接触，提供了一种新的解决方案。
  3. 在ARCTIC数据集上，EgoHSI3R实现了最低的手关节误差，并且推理速度较快，展示了优越的性能。

📝 摘要（中文）

本论文提出了一种名为EgoHSI3R的统一前馈框架，旨在从自我中心的单目视频中在线重建4D手-场景交互。现有方法通常专注于相机帧手部或世界空间手部轨迹，而未能共同恢复场景点图或交互信息。EgoHSI3R通过维护一个递归场景表示，积累几何证据，提供共享的世界空间和尺度，能够同时估计相机运动、稠密场景几何、世界空间双边MANO手部及每个顶点的手部接触。尽管以因果方式操作，EgoHSI3R在ARCTIC数据集上实现了最低的世界空间手关节误差，并且推理速度快于现有的世界空间手重建管道，同时在相机和场景重建精度上也表现出竞争力。

🔬 方法详解

问题定义：本论文旨在解决从自我中心视频中重建手-场景交互的挑战。现有方法通常分别处理相机帧手部和世界空间手部轨迹，缺乏对场景信息的联合恢复，导致重建效果不佳。

核心思路：EgoHSI3R的核心思路是通过维护递归场景表示，积累几何证据，从而在共享的世界空间中同时恢复手部、相机和场景信息。通过引入手部中心提示，结合预训练的手部先验和局部场景上下文，增强了模型的交互重建能力。

技术框架：EgoHSI3R的整体架构包括多个模块：递归场景表示模块、手部中心提示模块和MANO顶点查询模块。递归场景表示模块负责积累几何证据，手部中心提示模块用于融合手部先验，而MANO顶点查询模块则关注场景特征以预测每个顶点的接触信息。

关键创新：EgoHSI3R的主要创新在于其统一的前馈框架，能够在因果条件下同时估计多个组件的状态，显著提高了重建的准确性和效率。与现有方法相比，它避免了逐序列优化的复杂性。

关键设计：在设计中，EgoHSI3R采用了递归场景表示来积累几何信息，并使用手部中心提示来增强模型的上下文理解能力。此外，MANO顶点查询模块通过关注场景特征来实现每个顶点的接触预测，这些设计使得模型在性能上有了显著提升。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

EgoHSI3R在ARCTIC数据集上实现了最低的世界空间手关节误差，优于其他评估方法。同时，其推理速度较现有的世界空间手重建管道更快，且在相机和场景重建精度上表现出竞争力，展示了其在实际应用中的潜力。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、增强现实和人机交互等场景。在这些领域中，准确的手-场景交互重建能够提升用户体验和交互的自然性。未来，该技术可能会推动智能机器人和自动化系统的发展，使其能够更好地理解和适应复杂的环境交互。

📄 摘要（原文）

Egocentric videos offer an abundant source of hand-scene interactions for embodied learning, which requires recovering hands, camera, and scene consistently in a shared 3D world. Existing methods focus on either camera-frame hands or world-space hand trajectories, without jointly recovering the scene pointmaps or interaction information. Building a complete reconstruction from such specialized predictions therefore typically requires per-sequence optimization. We propose EgoHSI3R, a unified feed-forward framework for online 4D hand-scene interaction reconstruction from egocentric monocular video. To jointly recover these components, it maintains a recurrent scene representation that accumulates geometric evidence over time and provides a shared world space and scale. We introduce hand-centric prompts that fuse pretrained hand priors and local scene context, while MANO vertex queries attend to scene features to predict dense per-vertex contact. These designs enable a single network to jointly estimate camera motion, dense scene geometry, world-space bilateral MANO hands, and per-vertex hand contact. Despite operating causally, EgoHSI3R achieves the lowest world-space hand joint error on ARCTIC among the evaluated methods, while offering faster inference than existing world-space hand reconstruction pipelines and competitive camera and scene reconstruction accuracy.