Hand-4DGS: Feed-Forward 3D Gaussian Splatting for 4D Hand Reconstruction from Egocentric Videos

📄 arXiv: 2606.19156v1 📥 PDF

作者: Jeongmin Bae, Seoha Kim, Marc Pollefeys, Mahdi Rad, Youngjung Uh, Taein Kwon

分类: cs.CV

发布日期: 2026-06-17

备注: Project page: https://jeongminb.github.io/hand-4dgs/

💡 一句话要点

提出Hand-4DGS以解决动态4D手重建问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 动态手重建 自我中心视频 增强现实 虚拟现实 时间卷积 网格引导表示 机器学习 计算机视觉

📋 核心要点

  1. 现有方法多集中于多视角或4D人体重建，自我中心的4D手重建面临快速运动和遮挡等挑战。
  2. 本文提出Hand-4DGS框架，利用网格引导表示和时间卷积，直接从自我中心视频重建动态4D手。
  3. 在H2O和ARCTIC数据集上，实验结果显示该方法在推理速度和泛化能力上显著优于基线方法。

📝 摘要（中文）

动态3D手重建在增强现实、虚拟现实和人工智能眼镜等下一代计算平台中至关重要。尽管其重要性显著，现有研究多集中于多视角3D手重建或4D人体重建，针对自我中心的4D手重建仍面临挑战，如快速头部运动、手部动态变化、严重遮挡及单视角观察带来的固有模糊性。为解决这些问题，本文提出了Hand-4DGS，这是首个直接从自我中心视频中重建动态4D手的前馈框架，支持快速推理（约60 FPS）和强大的泛化能力。该方法结合了网格引导表示以提供结构先验，并通过时间卷积建模动态运动。我们在两个具有挑战性的自我中心数据集H2O和ARCTIC上评估了该框架，并显示出相较基线的显著改进。

🔬 方法详解

问题定义：本文旨在解决自我中心视频中动态4D手重建的问题，现有方法在快速头部运动和手部动态变化下表现不佳，且受限于严重遮挡和单视角观察的模糊性。

核心思路：提出的Hand-4DGS框架通过前馈网络实现快速推理，结合网格引导表示和时间卷积，有效捕捉手部动态，克服了现有方法的局限性。

技术框架：该框架主要包括数据输入模块、网格引导表示模块、时间卷积模块和输出重建模块。数据输入模块负责处理自我中心视频，网格引导表示模块提供结构先验，时间卷积模块用于动态建模，最后输出重建的4D手模型。

关键创新：最重要的创新在于引入了网格引导表示和时间卷积的结合，前者提供了结构信息，后者有效捕捉了时间动态，显著提升了重建的准确性和速度。

关键设计：在网络结构上，采用了轻量级的卷积神经网络，损失函数设计为结合重建误差和结构先验的复合损失，确保了重建结果的高质量和一致性。实验中未使用昂贵的3D手姿态真实标注，依赖于有效的2D图像监督。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Hand-4DGS在H2O和ARCTIC数据集上实现了约60 FPS的推理速度，相较于基线方法在重建精度上提升了显著的百分比，展示了其强大的泛化能力和有效性。

🎯 应用场景

该研究在增强现实、虚拟现实和人机交互等领域具有广泛的应用潜力。通过实现高效的动态4D手重建，能够提升用户体验，推动智能设备的交互方式，未来可能在游戏、教育和医疗等多个行业产生深远影响。

📄 摘要（原文）

Dynamic 3D hand reconstruction from egocentric videos is essential for next-generation computing platforms such as AR/VR and AI glasses. Despite its importance, most prior works focus either on multi-view 3D hand reconstruction or on 4D human body reconstruction. Egocentric 4D hand reconstruction remains challenging due to fast head motion, rapid hand dynamics, severe occlusions, and inherent ambiguity from single-view observations. To address these challenges, we introduce Hand-4DGS, the first feed-forward framework for reconstructing dynamic 4D hands directly from egocentric videos, enabling both fast (~60 FPS) inference and strong generalization. Our approach incorporates a mesh-guided representation for structural priors and temporal convolutions to model dynamic motion. We evaluate our framework on two challenging egocentric datasets, H2O and ARCTIC, and demonstrate significant improvements over baselines. Our method benefits from the generalization capability of feed-forward networks and effective 2D image supervision through Gaussian splatting, without requiring expensive 3D hand pose ground-truth annotations.