InterFusion: Text-Driven Generation of 3D Human-Object Interaction

📄 arXiv: 2403.15612v2 📥 PDF

作者: Sisi Dai, Wenhao Li, Haowen Sun, Haibin Huang, Chongyang Ma, Hui Huang, Kai Xu, Ruizhen Hu

分类: cs.CV

发布日期: 2024-03-22 (更新: 2024-07-16)

备注: ECCV 2024; Project page https://sisidai.github.io/InterFusion/; Code available at https://github.com/sisidai/InterFusion

💡 一句话要点

提出InterFusion以解决3D人机交互生成中的文本驱动问题

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction) 支柱七：动作重定向 (Motion Retargeting)

关键词: 3D人机交互 文本驱动生成 局部-全局优化 几何先验 虚拟现实 游戏开发 机器学习

📋 核心要点

  1. 现有的直接文本到3D方法在生成3D人机交互时效果不佳，主要由于缺乏配对的文本-交互数据。
  2. InterFusion采用两阶段框架，首先提取3D人类姿态作为几何先验，然后利用文本生成高质量的3D场景。
  3. 实验结果显示，InterFusion在3D HOI生成上显著超越了现有的最先进方法，提升效果明显。

📝 摘要（中文）

本研究针对从文本描述生成3D人机交互（HOI）的复杂任务，提出了一种零样本文本到3D的生成方法InterFusion。我们识别并解决了两个主要挑战：直接文本到3D方法在HOI生成中的不理想结果，主要由于缺乏配对的文本-交互数据，以及同时生成多个具有复杂空间关系的概念的固有困难。InterFusion是一个两阶段框架，第一阶段从合成图像数据集中提取3D人类姿态，并将其映射到交互描述；第二阶段利用最新的文本到3D生成技术，通过局部-全局优化过程生成逼真且高质量的3D HOI场景。实验结果表明，InterFusion在3D HOI生成方面显著优于现有最先进的方法。

🔬 方法详解

问题定义：本论文旨在解决从文本描述生成3D人机交互（HOI）的复杂任务。现有方法在HOI生成中存在效果不佳的问题，主要是由于缺乏配对的文本-交互数据，导致生成结果不理想。

核心思路：论文提出的InterFusion框架通过两阶段的方式来解决上述问题。第一阶段利用合成图像数据集提取3D人类姿态作为几何先验，简化文本到3D的转换过程，并为物体生成提供额外约束。第二阶段则结合最新的文本到3D生成技术，优化生成的3D场景。

技术框架：InterFusion的整体架构分为两个主要阶段。第一阶段提取3D人类姿态并将其映射到交互描述，第二阶段则通过局部-全局优化过程生成高质量的3D HOI场景。

关键创新：InterFusion的主要创新在于引入了人类姿态作为几何先验，并通过局部-全局优化方法实现了人类身体和物体的分开优化与整体场景的联合优化。这一设计与现有方法的本质区别在于其有效整合了多种复杂概念的生成。

关键设计：在关键设计方面，InterFusion采用了特定的损失函数来平衡局部和全局优化的效果，同时在网络结构上引入了最新的文本到3D生成技术，以确保生成结果的真实性和一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，InterFusion在3D HOI生成方面的表现显著优于现有最先进的方法，具体提升幅度达到XX%（具体数据未知），验证了其在生成质量和场景一致性上的优势。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、游戏开发和人机交互等。通过高效生成3D人机交互场景，InterFusion能够为这些领域提供更为真实和互动的体验，具有重要的实际价值和未来影响。

📄 摘要（原文）

In this study, we tackle the complex task of generating 3D human-object interactions (HOI) from textual descriptions in a zero-shot text-to-3D manner. We identify and address two key challenges: the unsatisfactory outcomes of direct text-to-3D methods in HOI, largely due to the lack of paired text-interaction data, and the inherent difficulties in simultaneously generating multiple concepts with complex spatial relationships. To effectively address these issues, we present InterFusion, a two-stage framework specifically designed for HOI generation. InterFusion involves human pose estimations derived from text as geometric priors, which simplifies the text-to-3D conversion process and introduces additional constraints for accurate object generation. At the first stage, InterFusion extracts 3D human poses from a synthesized image dataset depicting a wide range of interactions, subsequently mapping these poses to interaction descriptions. The second stage of InterFusion capitalizes on the latest developments in text-to-3D generation, enabling the production of realistic and high-quality 3D HOI scenes. This is achieved through a local-global optimization process, where the generation of human body and object is optimized separately, and jointly refined with a global optimization of the entire scene, ensuring a seamless and contextually coherent integration. Our experimental results affirm that InterFusion significantly outperforms existing state-of-the-art methods in 3D HOI generation.