InterCMDM: Block-Causal Diffusion for Autoregressive Human Interaction Generation

📄 arXiv: 2607.01743v1 📥 PDF

作者: Qing Yu, Kent Fujiwara

分类: cs.CV

发布日期: 2026-07-02

备注: Accepted to ECCV 2026, Project website: https://yu1ut.com/InterCMDM-HP/

💡 一句话要点

提出InterCMDM以解决人际互动生成中的因果性问题

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction)

关键词: 人际互动生成 因果关系建模 自回归模型 双流注意力 潜在扩散框架 多任务学习 长序列生成

📋 核心要点

  1. 现有的人际互动生成模型在因果性和协调性方面存在不足，导致生成结果不稳定。
  2. InterCMDM通过引入双流因果扩散变换器，分别建模个体因果流和人际依赖，解决了现有方法的痛点。
  3. 在InterHuman和Inter-X数据集上，InterCMDM实现了最先进的性能，显著提升了文本与动作的对齐度和生成的连续性。

📝 摘要（中文）

文本条件下的人际互动生成需要捕捉个体之间的长程时间因果关系以及紧密的协调性。现有的互动扩散模型通常使用双向注意力去噪全序列，这会模糊因果关系并阻碍流式和长时间生成。自回归替代方案虽然能强制因果性，但常常面临时间漂移，导致协调性下降和不稳定的互动动态。为此，本文提出了InterCMDM，一个用于自回归双人互动生成的块因果潜在扩散框架。InterCMDM引入了双流因果扩散变换器，为每个人保持独立的因果流，同时通过统一的双流注意力和多任务注意力掩码建模人际依赖关系。这些掩码在单一注意力机制中统一了互动建模，并支持多样的协调行为。最终，块级扩散目标使得长序列的潜在展开稳定，避免了重复的解码-编码循环。InterCMDM在InterHuman和Inter-X上实现了最先进的性能，提升了文本-动作对齐、真实感和长时间连续性。

🔬 方法详解

问题定义：本文旨在解决文本条件下的人际互动生成中的因果性和协调性问题。现有方法通过双向注意力模糊了因果关系，而自回归方法则面临时间漂移，导致生成的不稳定性。

核心思路：InterCMDM的核心思想是引入双流因果扩散变换器，分别为每个个体维护独立的因果流，并通过统一的双流注意力机制建模人际依赖关系，从而实现稳定的互动生成。

技术框架：该框架包括双流因果扩散变换器和多任务注意力掩码。双流变换器处理个体的因果流，而多任务掩码则支持多种协调行为的建模。整体流程通过块级扩散目标实现长序列的稳定展开。

关键创新：InterCMDM的主要创新在于其双流因果扩散变换器和统一的多任务注意力掩码，这与现有方法的双向注意力机制形成了本质区别，能够更好地捕捉因果性和协调性。

关键设计：在设计中，采用了多任务注意力掩码以支持多样的协调行为，并通过训练单一模型实现数据增强，提升了生成的可控性和多样性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

InterCMDM在InterHuman和Inter-X数据集上取得了最先进的性能，文本-动作对齐度提升了显著，生成的真实感和长时间连续性也得到了增强。具体而言，相较于基线模型，InterCMDM在多个指标上均有显著提升，验证了其有效性。

🎯 应用场景

InterCMDM的研究成果在动画制作、游戏开发和人机交互等领域具有广泛的应用潜力。通过生成更加自然和协调的人际互动，该模型能够提升虚拟角色的表现力和真实感，为用户提供更为沉浸的体验。未来，该技术还可能推动社交机器人和虚拟助手的互动能力提升。

📄 摘要（原文）

Text-conditioned human interaction generation must capture both long-range temporal causality within each individual and tightly coupled coordination between partners. Existing interaction diffusion models typically denoise full sequences using bidirectional attention, which obscures causality and hinders streaming and long-horizon generation. Autoregressive alternatives enforce causality but often suffer from temporal drift, leading to coordination degradation and unstable interaction dynamics over time. We propose InterCMDM, a block-causal latent diffusion framework for autoregressive two-person interaction generation. InterCMDM introduces a Dual-Stream Causal Diffusion Transformer that maintains separate causal streams for each person while modeling inter-person dependencies via unified dual-stream attention with multi-task attention masks. These masks unify interaction modeling within a single attention mechanism and support diverse coordination behaviors, including simultaneous actions, reactive responses, leader-follower dynamics, and independent motion. By training a single model across these mask configurations as a form of data augmentation, InterCMDM enables controllable interaction generation by simply selecting the desired attention mask at inference time. Finally, a block-wise diffusion objective enables stable latent rollout over long sequences without repeated decode-encode cycles. InterCMDM achieves state-of-the-art performance on InterHuman and Inter-X, improving text-motion alignment, realism, and long-horizon continuity.