InterHandGen: Two-Hand Interaction Generation via Cascaded Reverse Diffusion

📄 arXiv: 2403.17422v1 📥 PDF

作者: Jihyun Lee, Shunsuke Saito, Giljoo Nam, Minhyuk Sung, Tae-Kyun Kim

分类: cs.CV

发布日期: 2024-03-26

备注: Accepted to CVPR 2024, project page: https://jyunlee.github.io/projects/interhandgen/

💡 一句话要点

提出InterHandGen以解决双手交互生成问题

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 双手交互 生成模型 扩散模型 条件学习 计算机视觉

📋 核心要点

  1. 现有方法在双手交互生成中面临高学习复杂度和歧义性的问题，难以有效建模多个实例的联合分布。
  2. 论文提出了一种通过分解建模为单实例分布的无条件和条件部分，来简化双手交互生成的复杂性。
  3. 实验结果表明，InterHandGen在双手合成的可信度和多样性上显著优于现有基线模型，并在单目图像重建中实现了新的准确率记录。

📝 摘要（中文）

我们提出了InterHandGen，一个新颖的框架，用于学习双手交互的生成先验。我们的模型能够生成在物体附近或不靠近物体的多样化双手形状。该先验可以被整合到任何优化或学习方法中，以减少不适定问题中的歧义。我们观察到，直接建模多个实例的联合分布会因其组合性质而导致高学习复杂度。因此，我们提出将联合分布的建模分解为无条件和条件单实例分布的建模。我们引入了一种扩散模型，学习单手分布，并通过条件丢弃学习另一只手的条件分布。通过结合反穿透和无分类器引导，我们实现了可信的生成。此外，我们建立了严格的双手合成评估协议，结果显示我们的方法在可信度和多样性方面显著优于基线生成模型。我们还展示了我们的扩散先验能够提升单目野外图像的双手重建性能，达到了新的最先进准确率。

🔬 方法详解

问题定义：论文要解决双手交互生成中的高学习复杂度和歧义性问题。现有方法在建模多个实例的联合分布时，面临组合性质导致的复杂性和不适定性。

核心思路：论文的核心解决思路是将联合分布的建模分解为无条件和条件单实例分布的建模。通过这种方式，可以降低学习复杂度，提高生成的可信度和多样性。

技术框架：整体架构包括一个扩散模型，首先学习单手的无条件分布，然后通过条件丢弃学习另一只手的条件分布。生成时结合反穿透和无分类器引导，以确保生成结果的合理性。

关键创新：最重要的技术创新点在于引入了条件丢弃机制，使得单手分布的学习能够有效地与另一只手的条件分布相结合。这一设计与现有方法的本质区别在于简化了联合分布的建模过程。

关键设计：在模型设计中，采用了特定的损失函数来平衡无条件和条件学习的效果，同时在网络结构上进行了优化，以提高生成效率和质量。

📊 实验亮点

实验结果显示，InterHandGen在双手合成的可信度和多样性方面显著优于基线生成模型，具体表现为在评估协议中获得了更高的生成质量评分。此外，该方法在单目图像的双手重建任务中达到了新的最先进准确率，提升幅度明显。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、增强现实和人机交互等场景，能够为双手交互的生成和重建提供更为准确和多样的解决方案。未来，该技术可能在游戏开发、动画制作和机器人控制等领域产生重要影响。

📄 摘要（原文）

We present InterHandGen, a novel framework that learns the generative prior of two-hand interaction. Sampling from our model yields plausible and diverse two-hand shapes in close interaction with or without an object. Our prior can be incorporated into any optimization or learning methods to reduce ambiguity in an ill-posed setup. Our key observation is that directly modeling the joint distribution of multiple instances imposes high learning complexity due to its combinatorial nature. Thus, we propose to decompose the modeling of joint distribution into the modeling of factored unconditional and conditional single instance distribution. In particular, we introduce a diffusion model that learns the single-hand distribution unconditional and conditional to another hand via conditioning dropout. For sampling, we combine anti-penetration and classifier-free guidance to enable plausible generation. Furthermore, we establish the rigorous evaluation protocol of two-hand synthesis, where our method significantly outperforms baseline generative models in terms of plausibility and diversity. We also demonstrate that our diffusion prior can boost the performance of two-hand reconstruction from monocular in-the-wild images, achieving new state-of-the-art accuracy.