REACT 2024: the Second Multiple Appropriate Facial Reaction Generation Challenge

📄 arXiv: 2401.05166v1 📥 PDF

作者: Siyang Song, Micol Spitale, Cheng Luo, Cristina Palmero, German Barquero, Hengde Zhu, Sergio Escalera, Michel Valstar, Tobias Baur, Fabien Ringeval, Elisabeth Andre, Hatice Gunes

分类: cs.CV

发布日期: 2024-01-10

🔗 代码/项目: GITHUB

💡 一句话要点

提出REACT 2024挑战以生成多样化人脸反应

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人脸反应生成 机器学习 多样性 非言语交流 视频会议 情感计算

📋 核心要点

  1. 核心问题：现有方法难以生成多样化且真实的人脸反应，尤其是在未见过的说话者行为下。
  2. 方法要点：通过基于机器学习的模型，自动生成多种适当的面部反应，提升人机交互的自然性。
  3. 实验或效果：基线系统在离线和在线生成子挑战中表现出色，提供了公开的基线代码以供参考。

📝 摘要（中文）

在双人互动中，人类通过言语和非言语线索传达意图和心理状态，针对特定说话者行为生成多种适当的面部反应是一个挑战。REACT 2024挑战旨在开发机器学习模型，自动生成多样、真实且同步的人脸反应。该挑战使用了之前的NOXI和RECOLA数据集中的30秒互动片段，鼓励参与者在不同的视频会议场景下，基于输入的对话刺激生成多种适当的面部反应。本文介绍了REACT 2024挑战的指导方针、使用的数据集以及在两个子挑战上的基线系统性能。

🔬 方法详解

问题定义：本研究旨在解决如何从未见过的说话者行为中自动生成多样化且适当的人脸反应的问题。现有方法在生成真实且多样的面部反应方面存在不足，尤其是在动态交互场景中。

核心思路：论文提出了一种基于机器学习的框架，旨在通过分析对话刺激生成多种适当的面部反应。该方法强调生成的多样性和同步性，以更好地模拟人类的非言语交流。

技术框架：整体架构包括数据预处理、模型训练和反应生成三个主要模块。首先，使用NOXI和RECOLA数据集进行数据准备；其次，训练模型以学习从对话刺激到面部反应的映射；最后，生成适当的面部反应序列。

关键创新：该研究的主要创新在于引入了多样性和同步性作为生成面部反应的核心指标，与现有方法相比，能够更好地捕捉人类情感表达的复杂性。

关键设计：在模型设计中，采用了特定的损失函数来平衡生成反应的多样性与真实性，同时使用了深度学习网络结构以提高生成效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在REACT 2024挑战中，基线系统在离线和在线生成子挑战中表现优异，具体性能数据尚未披露，但相较于REACT 2023的基线，显示出显著的提升。公开的基线代码为后续研究提供了良好的基础。

🎯 应用场景

该研究的潜在应用领域包括虚拟助手、在线教育、远程医疗等场景，能够提升人机交互的自然性和有效性。通过生成真实的面部反应，能够增强用户体验，促进情感交流，具有重要的实际价值和未来影响。

📄 摘要（原文）

In dyadic interactions, humans communicate their intentions and state of mind using verbal and non-verbal cues, where multiple different facial reactions might be appropriate in response to a specific speaker behaviour. Then, how to develop a machine learning (ML) model that can automatically generate multiple appropriate, diverse, realistic and synchronised human facial reactions from an previously unseen speaker behaviour is a challenging task. Following the successful organisation of the first REACT challenge (REACT 2023), this edition of the challenge (REACT 2024) employs a subset used by the previous challenge, which contains segmented 30-secs dyadic interaction clips originally recorded as part of the NOXI and RECOLA datasets, encouraging participants to develop and benchmark Machine Learning (ML) models that can generate multiple appropriate facial reactions (including facial image sequences and their attributes) given an input conversational partner's stimulus under various dyadic video conference scenarios. This paper presents: (i) the guidelines of the REACT 2024 challenge; (ii) the dataset utilized in the challenge; and (iii) the performance of the baseline systems on the two proposed sub-challenges: Offline Multiple Appropriate Facial Reaction Generation and Online Multiple Appropriate Facial Reaction Generation, respectively. The challenge baseline code is publicly available at https://github.com/reactmultimodalchallenge/baseline_react2024.