Text2HOI: Text-guided 3D Motion Generation for Hand-Object Interaction

📄 arXiv: 2404.00562v2 📥 PDF

作者: Junuk Cha, Jihyeon Kim, Jae Shin Yoon, Seungryul Baek

分类: cs.CV

发布日期: 2024-03-31 (更新: 2024-04-02)

备注: Accepted to CVPR 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出Text2HOI以解决3D手物交互生成问题

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 3D手物交互 文本指导生成 变分自编码器 Transformer模型 物理合理性 多样化生成 虚拟现实 人机交互

📋 核心要点

  1. 现有方法在3D手物交互生成中面临标注数据不足的问题，限制了模型的泛化能力。
  2. 本文将交互生成任务分为手物接触生成和手物运动生成，采用VAE和Transformer模型进行处理。
  3. 实验结果显示，本文方法在生成的交互质量上优于基线方法，并能处理未见物体。

📝 摘要（中文）

本文首次提出了一种基于文本指导的3D手物交互序列生成方法。主要挑战在于缺乏标注数据，现有的数据集在交互类型和物体类别上缺乏通用性，限制了多样化3D手物交互的建模。为此，本文将交互生成任务分解为手物接触生成和手物运动生成两个子任务。接触生成采用基于变分自编码器的网络，输入文本和物体网格，生成手与物体表面之间接触的概率。运动生成则利用基于Transformer的扩散模型，以3D接触图作为先验，生成符合物理规律的手物运动。实验结果表明，本文方法生成的交互比其他基线方法更真实多样，并且适用于未见物体。

🔬 方法详解

问题定义：本文旨在解决3D手物交互生成中的数据不足问题，现有方法在交互类型和物体类别上缺乏通用性，导致生成的交互不够多样和真实。

核心思路：通过将交互生成任务分解为手物接触生成和手物运动生成，利用文本提示来指导生成过程，从而提高生成的物理合理性和多样性。

技术框架：整体架构包括两个主要模块：接触生成模块和运动生成模块。接触生成模块使用VAE网络处理文本和物体网格，运动生成模块则采用基于Transformer的扩散模型，利用接触图生成运动序列。

关键创新：本文的创新在于将手物交互生成任务分解为两个子任务，并引入了基于接触概率的生成方法，显著提高了生成的物理合理性和多样性。

关键设计：接触生成模块使用VAE网络，学习多样化物体的局部几何结构；运动生成模块则通过扩散模型学习增强的标注数据，确保生成的运动符合物理规律。

📊 实验亮点

实验结果表明，本文方法在生成的交互质量上优于其他基线方法，具体表现为生成的交互在真实感和多样性上有显著提升，尤其是在处理未见物体时，展示了良好的适应性。

🎯 应用场景

该研究在虚拟现实、游戏开发和人机交互等领域具有广泛的应用潜力。通过生成真实的手物交互，能够提升用户体验，并为未来的机器人操作和自动化提供基础。随着模型和数据的发布，未来的研究将能够在此基础上进行更深入的探索。

📄 摘要（原文）

This paper introduces the first text-guided work for generating the sequence of hand-object interaction in 3D. The main challenge arises from the lack of labeled data where existing ground-truth datasets are nowhere near generalizable in interaction type and object category, which inhibits the modeling of diverse 3D hand-object interaction with the correct physical implication (e.g., contacts and semantics) from text prompts. To address this challenge, we propose to decompose the interaction generation task into two subtasks: hand-object contact generation; and hand-object motion generation. For contact generation, a VAE-based network takes as input a text and an object mesh, and generates the probability of contacts between the surfaces of hands and the object during the interaction. The network learns a variety of local geometry structure of diverse objects that is independent of the objects' category, and thus, it is applicable to general objects. For motion generation, a Transformer-based diffusion model utilizes this 3D contact map as a strong prior for generating physically plausible hand-object motion as a function of text prompts by learning from the augmented labeled dataset; where we annotate text labels from many existing 3D hand and object motion data. Finally, we further introduce a hand refiner module that minimizes the distance between the object surface and hand joints to improve the temporal stability of the object-hand contacts and to suppress the penetration artifacts. In the experiments, we demonstrate that our method can generate more realistic and diverse interactions compared to other baseline methods. We also show that our method is applicable to unseen objects. We will release our model and newly labeled data as a strong foundation for future research. Codes and data are available in: https://github.com/JunukCha/Text2HOI.