IMAGIN-4D: Image-Guided Controllable Interaction Generation

📄 arXiv: 2606.23675v1 📥 PDF

作者: Sai Kumar Dwivedi, Federica Bogo, Buğra Tekin, Chenhongyi Yang, Nadine Bertsch, Tomas Hodan, Michael J. Black, Dimitrios Tzionas, Shreyas Hampali

分类: cs.CV

发布日期: 2026-06-22

备注: 15 pages, 8 figures. Project page: https://imagin4d.github.io

💡 一句话要点

提出IMAGIN-4D以解决人机交互生成中的模糊性问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱五：交互与反应 (Interaction & Reaction) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人机交互 图像引导 扩散模型 时空分解 角色感知条件 机器人动画 增强现实 虚拟现实

📋 核心要点

  1. 现有HOI生成方法在动作合成时未能充分明确交互细节，导致同一提示和轨迹生成不同的动作。
  2. IMAGIN-4D通过引入参考图像作为交互快照的视觉规范，采用时空分解的方式进行图像条件处理，提升交互生成的准确性。
  3. 实验结果显示，IMAGIN-4D在FBM和BEHAVE数据集上显著提高了细粒度交互控制，相较于单一标记和均匀图像条件基线有明显提升。

📝 摘要（中文）

生成人体与物体交互（HOI）是角色动画、机器人、增强现实/虚拟现实（AR/VR）和具身人工智能的核心。现有HOI生成方法通过文本、物体几何和稀疏路径合成动作，但这些信号不足以明确交互细节。为了解决这一模糊性，本文引入IMAGIN-4D，一个基于扩散的HOI生成器，通过图像条件进行时空分解，提取交互状态标记，并使用角色感知条件来平衡图像、文本和路径线索。实验表明，IMAGIN-4D在细粒度交互控制上优于现有基线，同时保持了运动质量。

🔬 方法详解

问题定义：本文旨在解决现有HOI生成方法在生成过程中对交互细节的模糊性问题。现有方法依赖于文本和稀疏路径，无法明确区分不同的抓取方式、身体姿态和物体布局等。

核心思路：IMAGIN-4D通过引入参考图像，作为交互快照的视觉规范，采用时空分解的方式来处理图像条件，从而更好地捕捉交互的细节。

技术框架：IMAGIN-4D的整体架构包括空间条件和时间条件两个主要模块。空间条件通过提取监督的交互状态标记来处理当前帧的身体姿态、物体姿态和空间关系，而时间条件则通过查询图像补丁为每一帧计算帧感知标记。

关键创新：IMAGIN-4D的主要创新在于角色感知条件设计，允许文本、路径和交互状态标记使用独立的AdaLN流，同时帧感知视觉标记与运动标记交叉关注。这种设计使得模型能够更灵活地处理不同的视觉线索。

关键设计：在模型设计中，采用了合成的运动到图像渲染管道，并引入了图像遵循度指标来评估生成的动作与参考快照的匹配程度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在FBM和BEHAVE数据集上的实验结果表明，IMAGIN-4D在细粒度交互控制方面相较于单一标记和均匀图像条件基线有显著提升，具体性能数据未详述，但整体运动质量和路径跟随能力均得到了保持。

🎯 应用场景

IMAGIN-4D的研究成果在角色动画、机器人控制、增强现实和虚拟现实等领域具有广泛的应用潜力。通过提供更精确的人机交互生成能力，该技术能够提升虚拟角色的表现力和交互体验，推动具身人工智能的发展。

📄 摘要（原文）

Generating human-object interactions (HOI) is central to character animation, robotics, AR/VR, and embodied AI. Recent HOI generation methods synthesize motion from text, object geometry, and sparse waypoints, controlling action semantics and object trajectories. However, these signals underspecify interaction: the same prompt and trajectory can produce different grasps, approach directions, body poses, object poses, contacts, and body-object layouts. We address this ambiguity with a reference image as a visual specification of the desired interaction snapshot. However, a single global image representation conflates distinct cues and conditions all frames on identical visual evidence. We therefore introduce IMAGIN-4D, a diffusion-based HOI generator that decomposes image conditioning spatio-temporally. For spatial conditioning, IMAGIN-4D extracts supervised interaction-state tokens for body pose, object pose, body-object contact, and spatial relationships at the depicted frame. For temporal conditioning, it computes frame-aware tokens by querying image patches per generated frame, allowing sequence segments to attend to different visual cues from the same image. To balance image, text, and waypoint cues, IMAGIN-4D uses role-aware conditioning: text, waypoints, and interaction-state tokens use separate AdaLN streams, while frame-aware visual tokens cross-attend with motion tokens. Since HOI motion datasets lack paired images, we build a synthetic motion-to-image rendering pipeline from FullBodyManipulation (FBM) and introduce an image-adherence metric to evaluate whether generated motions match the reference snapshot. Experiments on FBM and BEHAVE show that IMAGIN-4D improves fine-grained interaction control over single-token and uniformly image-conditioned baselines while preserving waypoint-following and motion quality. Code and models will be released at https://imagin4d.github.io.