The Surprising Effectiveness of Video Diffusion Models for Hand Motion Reconstruction
作者: Yuxi Wang, Chengkai Jin, Yufei Liu, Wenqi Ouyang, Tianyi Wei, Zhiwei Zeng, Siyuan Huang, Zhiqi Shen, Xingang Pan
分类: cs.CV
发布日期: 2026-06-29
💡 一句话要点
提出ViDiHand以解决手部运动重建中的遮挡问题
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 手部运动重建 视频扩散模型 自我中心视频 深度学习 计算机视觉
📋 核心要点
- 现有的手部运动重建方法在严重遮挡情况下表现不佳，且依赖于稀缺的手部姿态标注，难以有效捕捉运动动态。
- 本文提出ViDiHand，通过利用预训练的视频扩散模型的特征来重建4D双手姿态，避免了对检测器的依赖。
- 在多个数据集上，ViDiHand的表现显著优于现有方法，展示了视频扩散模型在手部运动重建中的潜力。
📝 摘要（中文）
从自我中心视频中进行4D手部运动重建面临诸多挑战：现有图像基础方法依赖于检测器，且在严重遮挡下表现不佳；视频基础方法则依赖于稀缺的手部姿态标注，难以有效建模运动动态、遮挡推理及手物体交互。为此，本文提出ViDiHand，利用预训练的视频扩散模型的表示来重建4D双手姿态。通过手部叠加渲染目标对模型进行适应，保留其世界先验，最终通过解码器从适应后的特征中恢复度量尺度的姿态。该方法直接在完整帧上操作，无需检测器、填充器或测试时优化。在ARCTIC、HOT3D和HOI4D数据集上，ViDiHand显著超越了先前方法，确立了视频扩散模型在手部运动重建中的强大基础，并为具身人工智能的可扩展野外数据收集提供了有前景的路径。
🔬 方法详解
问题定义：本文旨在解决从自我中心视频中进行4D手部运动重建的问题。现有方法在严重遮挡情况下表现不佳，且视频基础方法依赖于稀缺的手部姿态标注，无法有效建模运动动态、遮挡推理及手物体交互。
核心思路：ViDiHand的核心思路是利用预训练的视频扩散模型的表示来重建手部姿态，通过手部叠加渲染目标对模型进行适应，从而专注于手部特征，同时保留世界先验信息。
技术框架：整体架构包括三个主要模块：首先是视频扩散模型的特征提取，其次是手部叠加渲染以适应特征，最后是解码器用于从适应后的特征中恢复度量尺度的姿态。该方法直接在完整帧上操作，无需额外的检测器或填充器。
关键创新：最重要的技术创新在于将视频扩散模型应用于手部运动重建，利用其在合成一致视频时所需的隐含能力，显著提升了模型对运动动态和遮挡的处理能力。
关键设计：在设计中，采用了手部叠加渲染目标作为损失函数，确保模型专注于手部特征的提取，同时保持世界先验信息的完整性。解码器的结构经过优化，以有效恢复手部姿态的度量尺度。
🖼️ 关键图片
📊 实验亮点
在ARCTIC、HOT3D和HOI4D数据集上的实验结果显示，ViDiHand在手部运动重建任务中显著超越了现有方法，具体提升幅度达到XX%（具体数据未知），证明了视频扩散模型在该领域的有效性和潜力。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实、增强现实和人机交互等场景，能够为手势识别、动作捕捉和机器人控制等提供更为精准的手部运动重建技术。未来，ViDiHand有望推动具身人工智能的发展，提升智能设备与用户之间的交互体验。
📄 摘要（原文）
4D hand motion reconstruction from egocentric video is bottlenecked by clear limitations of existing methods: image-based pipelines depend on a detector that fails under heavy occlusion, while video-based methods rely on temporal modules learned only from scarce hand-pose annotations, a narrow signal insufficient to model motion dynamics, occlusion reasoning, and hand-object interaction. These capabilities, however, are exactly what video generative models must implicitly acquire when trained to synthesize coherent video at internet scale. Motivated by this, we present ViDiHand, which leverages the representations of a pretrained video diffusion model to reconstruct 4D two-hand pose. We adapt it via a hand-overlay rendering objective that specializes its features for hands while preserving its world priors. A decoder then recovers metric-scale pose from the adapted features. The whole pipeline operates directly on full frames--no detector, no infiller, and no test-time optimization. On ARCTIC, HOT3D, and HOI4D, ViDiHand substantially outperforms prior methods, establishing video diffusion models as a powerful new foundation for hand motion reconstruction and a promising route to scalable in-the-wild data collection for embodied AI. Project page: https://vidihand.github.io.