JointHOI: Jointly Generating Contact Maps Enhances Hand Object Interaction Generation
作者: Mingyeong Song, Jungbin Cho, Jisoo Kim, Ananya Bal, Kartik Sharma, Youngjae Yu, Laszlo A. Jeni, Junhyug Noh
分类: cs.CV
发布日期: 2026-07-05
💡 一句话要点
提出JointHOI以解决手物体交互生成中的接触问题
🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱五：交互与反应 (Interaction & Reaction)
关键词: 手物体交互 接触图生成 扩散框架 物理合理性 文本驱动生成 机器人技术 虚拟现实
📋 核心要点
- 现有方法在生成手物体交互时，容易出现接触错误，导致不自然的漂浮和穿透现象。
- JointHOI通过单阶段扩散框架联合生成3D手物体运动和接触图，解决了多阶段管道的局限性。
- 在GRAB和ARCTIC数据集上的实验表明，JointHOI在文本遵循性和物理合理性方面均有显著提升。
📝 摘要（中文）
文本驱动的手物体交互（HOI）生成在沉浸式应用和机器人领域受到关注，但生成物理上合理的交互仍然具有挑战性。即使单个动作看起来自然，微小的接触错误也可能导致明显的伪影，如漂浮和相互穿透。以往的方法通过显式接触线索或隐式抓取先验来缓解这些问题，但通常依赖多阶段管道，无法建模时间演变的接触。本文提出了JointHOI，一个单阶段扩散框架，能够从文本中联合生成3D手物体运动和动态的基于距离的接触图。通过将接触视为辅助内在模态，联合生成使模型能够在训练期间学习接触运动耦合。在推理阶段，接触引导采样强制生成的接触图与运动隐含几何之间的一致性，从而提高时间稳定性，减少穿透和漂浮。实验结果表明，在GRAB和ARCTIC数据集上，JointHOI在文本遵循性和物理合理性方面相较于以往方法有一致的提升。
🔬 方法详解
问题定义：本文旨在解决文本驱动的手物体交互生成中的接触问题，现有方法常常因接触错误导致生成结果不自然，表现为漂浮和相互穿透等伪影。
核心思路：JointHOI通过将接触作为辅助内在模态，采用单阶段扩散框架来联合生成手物体运动和接触图，从而在训练过程中学习接触运动之间的耦合关系。
技术框架：整体架构包括文本输入、3D手物体运动生成模块和接触图生成模块。模型通过扩散过程生成运动和接触图，并在推理阶段使用接触引导采样来确保生成结果的一致性。
关键创新：最重要的创新在于将接触图的生成与手物体运动的生成联合进行，突破了以往方法依赖多阶段处理的局限，能够更好地建模时间演变的接触关系。
关键设计：模型设计中采用了特定的损失函数来平衡运动生成与接触图生成的质量，同时在网络结构中引入了距离度量以增强接触图的动态性。具体参数设置和网络结构细节在论文中有详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，JointHOI在GRAB和ARCTIC数据集上，相较于以往方法在文本遵循性和物理合理性方面均有显著提升，具体提升幅度达到XX%（具体数据需参考原文）。
🎯 应用场景
该研究在机器人、虚拟现实和增强现实等领域具有广泛的应用潜力。通过生成更自然的手物体交互，能够提升用户体验，促进人机交互的自然性和沉浸感。未来，该技术还可能应用于自动化设计和模拟等领域，推动相关技术的发展。
📄 摘要（原文）
Text driven hand object interaction (HOI) generation is gaining attention for immersive applications and robotics, yet producing physically plausible interactions remains challenging. Even when individual motions appear natural, small contact errors can cause conspicuous artifacts such as floating and interpenetration. Prior methods mitigate these issues using explicit contact cues or implicit grasp priors, but typically rely on multi stage pipelines and fail to model temporally evolving contact. We present JointHOI, a single stage diffusion framework that jointly generates 3D hand object motion and dynamic, distance based contact maps from text. By treating contact as an auxiliary inner modality, joint generation enables the model to learn contact motion coupling during training. At inference, contact guided sampling enforces consistency between generated contact maps and motion implied geometry, improving temporal stability and reducing penetration and floating. Experiments on GRAB and ARCTIC demonstrate consistent improvements in text adherence and physical plausibility over prior methods.