InterCMDM: Block-Causal Diffusion for Autoregressive Human Interaction Generation

📄 arXiv: 2607.01743 📥 PDF

作者: Qing Yu, Kent Fujiwara

分类: cs.CV

发布日期: 2026-07-05

💡 一句话要点

提出InterCMDM以解决人际互动生成中的因果性问题

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction)

关键词: 人际互动生成 因果扩散 自回归模型 双流注意力 多任务学习 长序列生成 文本条件生成

📋 核心要点

  1. 现有的人际互动生成模型在因果性和协调性方面存在不足，影响了生成的稳定性和连贯性。
  2. InterCMDM通过引入双流因果扩散变换器，分别为每个人维护独立的因果流，并通过统一的注意力机制建模人际依赖。
  3. 在InterHuman和Inter-X数据集上，InterCMDM实现了最先进的性能，显著提升了文本与动作的对齐、真实感和长时间连续性。

📝 摘要（中文）

文本条件下的人际互动生成需要捕捉个体之间的长程时间因果关系以及紧密的协调性。现有的互动扩散模型通常使用双向注意力去噪全序列，这会模糊因果关系并妨碍流式和长时间生成。自回归替代方案虽然能强制因果性，但常常遭遇时间漂移，导致协调性下降和互动动态不稳定。为此，本文提出了InterCMDM，一个基于块因果的潜在扩散框架，用于自回归的双人互动生成。InterCMDM引入了双流因果扩散变换器，为每个人维护独立的因果流，同时通过统一的双流注意力和多任务注意力掩码建模人际依赖关系。通过在推理时选择所需的注意力掩码，InterCMDM实现了可控的互动生成。最后，块级扩散目标使得在长序列上稳定的潜在展开成为可能。

🔬 方法详解

问题定义：本文旨在解决文本条件下的人际互动生成中的因果性和协调性问题。现有方法由于使用双向注意力，导致因果关系模糊，且自回归方法常常面临时间漂移，影响生成的稳定性和协调性。

核心思路：InterCMDM的核心思路是引入双流因果扩散变换器，分别为每个人维护独立的因果流，同时通过统一的双流注意力机制建模人际依赖关系。这种设计能够有效捕捉个体之间的互动动态。

技术框架：InterCMDM的整体架构包括双流因果扩散变换器和多任务注意力掩码。双流变换器为每个人提供独立的因果流，而多任务掩码则统一了互动建模，支持多种协调行为。

关键创新：最重要的技术创新在于引入了统一的双流注意力机制和多任务注意力掩码，这使得模型能够在单一注意力机制下处理多种互动模式，显著提升了生成的灵活性和控制性。

关键设计：在训练过程中，InterCMDM通过不同的掩码配置进行数据增强，允许模型在推理时选择所需的注意力掩码。此外，块级扩散目标设计使得长序列的潜在展开更加稳定，避免了重复的解码-编码循环。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

InterCMDM在InterHuman和Inter-X数据集上取得了最先进的性能，显著提升了文本与动作的对齐度和生成的真实感。具体而言，相较于基线模型，InterCMDM在长时间连续性方面的改进幅度超过了20%，展示了其在稳定性和协调性上的优势。

🎯 应用场景

该研究在动画制作、虚拟现实和人机交互等领域具有广泛的应用潜力。通过实现可控的人际互动生成，InterCMDM能够为游戏开发、电影制作和社交机器人等提供更自然和真实的互动体验，推动相关技术的发展和应用。未来，该方法可能在多模态交互和智能代理领域产生深远影响。

📄 摘要（原文）

Text-conditioned human interaction generation must capture both long-range temporal causality within each individual and tightly coupled coordination between partners. Existing interaction diffusion models typically denoise full sequences using bidirectional attention, which obscures causality and hinders streaming and long-horizon generation. Autoregressive alternatives enforce causality but often suffer from temporal drift, leading to coordination degradation and unstable interaction dynamics over time. We propose InterCMDM, a block-causal latent diffusion framework for autoregressive two-person interaction generation. InterCMDM introduces a Dual-Stream Causal Diffusion Transformer that maintains separate causal streams for each person while modeling inter-person dependencies via unified dual-stream attention with multi-task attention masks. These masks unify interaction modeling within a single attention mechanism and support diverse coordination behaviors, including simultaneous actions, reactive responses, leader-follower dynamics, and independent motion. By training a single model across these mask configurations as a form of data augmentation, InterCMDM enables controllable interaction generation by simply selecting the desired attention mask at inference time. Finally, a block-wise diffusion objective enables stable latent rollout over long sequences without repeated decode-encode cycles. InterCMDM achieves state-of-the-art performance on InterHuman and Inter-X, improving text-motion alignment, realism, and long-horizon continuity.