Dyadic Interaction Modeling for Social Behavior Generation

📄 arXiv: 2403.09069v3 📥 PDF

作者: Minh Tran, Di Chang, Maksim Siniukov, Mohammad Soleymani

分类: cs.CV

发布日期: 2024-03-14 (更新: 2024-07-17)

备注: The first two authors contribute equally. The paper is accepted by ECCV 2024. Project Page: https://boese0601.github.io/dim/ Code: https://github.com/Boese0601/Dyadic-Interaction-Modeling

🔗 代码/项目: GITHUB

💡 一句话要点

提出双人互动建模以生成社交行为

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱五：交互与反应 (Interaction & Reaction) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 双人互动建模 社交行为生成 非语言行为 对比学习 VQ-VAE 动作生成 虚拟现实 人机交互

📋 核心要点

  1. 现有方法通常将听者视为被动反应者，缺乏对双人互动情境的深入理解。
  2. 本文提出双人互动建模（DIM），通过掩蔽和对比学习联合建模说者与听者的动作，捕捉双人互动的动态。
  3. 实验结果显示，所提框架在生成听者动作方面表现优越，达到了新的状态-of-the-art水平，提升了生成动作的多样性和真实感。

📝 摘要（中文）

人类之间的交流如同一场精妙的舞蹈，听者与说者在对话中同时互动以维持交流动态。因此，生成听者非语言行为的有效模型需要理解双人互动的背景和情境。本文提出了一种有效的框架，用于在双人互动中创建3D面部动作。现有研究将听者视为对说者的声音和面部动作做出反应的被动代理。我们的方法的核心是双人互动建模（DIM），一种通过掩蔽和对比学习联合建模说者和听者动作的预训练方法，以学习捕捉双人情境的表示。为了生成非确定性的行为，我们通过VQ-VAE将听者和说者的动作编码为离散潜在表示。经过进一步微调，预训练模型用于动作生成。大量实验表明，我们的框架在生成听者动作方面具有优越性，建立了新的最先进水平。

🔬 方法详解

问题定义：本文旨在解决现有方法中听者被动反应的局限性，缺乏对双人互动情境的全面建模，导致生成的非语言行为缺乏多样性和真实感。

核心思路：论文提出的双人互动建模（DIM）通过掩蔽和对比学习的方式，联合建模说者和听者的动作，以捕捉双人互动的复杂性，从而生成更为自然的非语言行为。

技术框架：整体架构包括预训练和微调两个阶段。首先，通过VQ-VAE将说者和听者的动作编码为离散潜在表示，然后在预训练阶段进行掩蔽和对比学习，最后对模型进行微调以生成动作。

关键创新：最重要的创新点在于通过掩蔽和对比学习的方式联合建模说者和听者的动作，突破了传统方法将听者视为被动反应者的局限，增强了模型对双人互动情境的理解。

关键设计：在技术细节上，采用了VQ-VAE进行潜在表示的编码，设计了适应双人互动的损失函数，并通过大量实验验证了模型的有效性和优越性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提框架在生成听者动作方面优于现有方法，达到了新的最先进水平。具体而言，生成动作的多样性和真实感在定量指标上显著提升，展示了该方法在生成多样化表情、眼睁和头部手势方面的卓越能力。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、游戏开发和人机交互等场景，能够为生成更自然的社交行为提供技术支持，提升用户体验。未来，该技术可能在社交机器人和智能助手中发挥重要作用，使其能够更好地理解和参与人类的社交互动。

📄 摘要（原文）

Human-human communication is like a delicate dance where listeners and speakers concurrently interact to maintain conversational dynamics. Hence, an effective model for generating listener nonverbal behaviors requires understanding the dyadic context and interaction. In this paper, we present an effective framework for creating 3D facial motions in dyadic interactions. Existing work consider a listener as a reactive agent with reflexive behaviors to the speaker's voice and facial motions. The heart of our framework is Dyadic Interaction Modeling (DIM), a pre-training approach that jointly models speakers' and listeners' motions through masking and contrastive learning to learn representations that capture the dyadic context. To enable the generation of non-deterministic behaviors, we encode both listener and speaker motions into discrete latent representations, through VQ-VAE. The pre-trained model is further fine-tuned for motion generation. Extensive experiments demonstrate the superiority of our framework in generating listener motions, establishing a new state-of-the-art according to the quantitative measures capturing the diversity and realism of generated motions. Qualitative results demonstrate the superior capabilities of the proposed approach in generating diverse and realistic expressions, eye blinks and head gestures. The code is available at https://github.com/Boese0601/Dyadic-Interaction-Modeling