DreamHand: Repurposing Video Diffusion Models for Occlusion-Robust Egocentric 3D Hand Motion Recovery

📄 arXiv: 2608.20308v1 📥 PDF

作者: Yufei Liu, Xixi Wang, Hao Li, Ganlong Zhao, Kaitong Cai, Chengkai Jin, Chunxiao Liu, Jianbo Liu, Siyuan Huang, Xingang Pan, Hongsheng Li

分类: cs.CV

发布日期: 2026-08-20

备注: Project Page: https://ggxxii.github.io/dreamhand/

💡 一句话要点

提出DreamHand以解决视频中手部运动恢复的遮挡问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自我中心视频 手部运动恢复 视频扩散模型 遮挡处理 机器人操作 虚拟现实 增强现实

📋 核心要点

  1. 现有单帧和窗口时间回归方法在手部短暂离开画面时无法有效恢复3D轨迹，导致性能下降。
  2. 本研究将视频扩散模型转变为确定性几何编码器，能够在单次前向传播中提取被遮挡和视野外的手部信息。
  3. DreamHand在多个基准测试中表现优异，尤其在遮挡严重的场景中，显著提升了手部运动恢复的准确性。

📝 摘要（中文）

本研究针对自我中心视频中的手部运动恢复问题，提出了DreamHand框架。现有方法在手部短暂离开画面时表现不佳，而视频扩散模型依赖于复杂的多步采样。我们将视频扩散模型重新设计为确定性几何编码器，通过单次前向传播提取场景内容，包括被遮挡和视野外的手部。DreamHand通过确定性清晰潜在编码器提取特征，并利用双向时空解码器进行解码，能够在不依赖外部检测器的情况下恢复连续的双手轨迹。在五个自我中心基准测试中，DreamHand在遮挡严重的ARCTIC数据集上将MPJPE-p降低了30%，在HOT3D上降低了40%。

🔬 方法详解

问题定义：本研究旨在解决自我中心视频中手部运动恢复的挑战，尤其是在手部被遮挡或离开视野时，现有方法无法有效处理这些情况。

核心思路：我们将视频扩散模型重新设计为确定性几何编码器，通过单次前向传播提取场景信息，克服了传统方法的局限性。

技术框架：DreamHand框架包括两个主要模块：确定性清晰潜在编码器和双向时空解码器。前者提取特征，后者负责解码并恢复手部轨迹。

关键创新：最重要的创新在于将视频扩散模型转变为确定性编码器，避免了复杂的多步采样过程，使得手部运动恢复更加高效和准确。

关键设计：在网络结构上，我们设计了特定的损失函数以优化轨迹恢复的精度，并通过调整编码器和解码器的参数设置来提升模型的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在五个自我中心基准测试中，DreamHand在遮挡严重的ARCTIC数据集上将MPJPE-p降低了30%，在HOT3D上降低了40%。当考虑视野外的手部时，性能提升幅度达到46%-61%，显示出显著的改进效果。

🎯 应用场景

DreamHand的研究成果在机器人操作、虚拟现实和增强现实等领域具有广泛的应用潜力。通过准确恢复手部运动轨迹，能够提升人机交互的自然性和效率，推动智能机器人在复杂环境中的应用。

📄 摘要（原文）

Egocentric video offers scalable manipulation data for embodied AI, yet recovering metric 3D hand trajectories remains challenging due to severe object occlusion and frequent out-of-sight gaps. Existing single-frame and windowed temporal regressors fail when hand shortly leaves the frame, while recent video diffusion models (VDMs) rely on heavy, stochastic multi-step sampling as pixel-space renderers. We instead repurpose VDM into a deterministic geometry encoder. A single forward pass over the clean latent exposes scene content beyond current observations, including occluded and out-of-sight hands. We introduce DreamHand, an offline clip-level framework that extracts features via a Deterministic Clean-Latent Encoder and decodes them with a Bidirectional Spatiotemporal Decoder. DreamHand recovers continuous bimanual trajectories with metric placement and no external detector, while a Ray-Based Camera Solver supports a second configuration that needs no test-time camera intrinsics. Across five egocentric benchmarks, DreamHand sets a new state of the art, cutting MPJPE-p by 30% on occlusion-heavy ARCTIC and 40% on HOT3D. These gains reach 46%-61% once out-of-sight hands are included in the evaluation, offering a scalable path from everyday human video to robot manipulation data.