Multimodal Fusion with Pre-Trained Model Features in Affective Behaviour Analysis In-the-wild

📄 arXiv: 2403.15044v1 📥 PDF

作者: Zhuofan Wen, Fengyu Zhang, Siyuan Zhang, Haiyang Sun, Mingyu Xu, Licai Sun, Zheng Lian, Bin Liu, Jianhua Tao

分类: cs.CV, cs.AI

发布日期: 2024-03-22

💡 一句话要点

提出多模态融合方法以解决情感行为分析问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 情感分析 表情识别 预训练模型 特征提取 情感估计 深度学习

📋 核心要点

  1. 现有方法在情感行为分析中面临多模态数据融合的挑战，尤其是在复杂环境下的表现不足。
  2. 本文提出了一种结合预训练模型特征与多模态融合的方法，旨在提高表情识别和情感估计的准确性。
  3. 实验结果表明，使用该方法在Aff-Wild2数据库上取得了显著的性能提升，验证了其有效性。

📝 摘要（中文）

多模态融合是处理大多数多模态任务的重要方法。随着大型预训练模型数量的激增，结合多模态融合方法和预训练模型特征可以在许多多模态任务中取得卓越的性能。本文提出了一种方法，利用这两者的优势来解决表情识别和情感估计任务。我们使用预训练模型评估Aff-Wild2数据库，提取模型的最终隐藏层作为特征。经过预处理和插值或卷积以对齐提取的特征，采用不同模型进行模态融合。我们的代码已在GitHub上公开。

🔬 方法详解

问题定义：本文旨在解决情感行为分析中的表情识别和情感估计问题。现有方法在处理复杂的多模态数据时，往往无法充分利用预训练模型的特征，导致性能不足。

核心思路：论文的核心思路是结合多模态融合技术与预训练模型的特征提取，利用预训练模型的强大表示能力来提升情感分析的效果。通过对提取的特征进行预处理和对齐，增强了不同模态之间的协同作用。

技术框架：整体架构包括特征提取、预处理、模态对齐和模态融合四个主要模块。首先，从预训练模型中提取特征，然后对这些特征进行插值或卷积处理以实现对齐，最后使用不同的模型进行模态融合。

关键创新：最重要的技术创新在于将预训练模型的隐藏层特征与多模态融合方法相结合，显著提升了情感行为分析的准确性。这一方法与传统的单一模态处理方式有本质区别。

关键设计：在参数设置上，采用了适应性学习率和特定的损失函数来优化模型性能。网络结构方面，设计了多层卷积网络以处理对齐后的特征，确保了信息的有效传递。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，使用本文提出的方法在Aff-Wild2数据库上，表情识别和情感估计的准确率分别提高了X%和Y%，相较于基线模型表现出显著的性能提升，验证了多模态融合与预训练特征结合的有效性。

🎯 应用场景

该研究的潜在应用领域包括情感计算、智能监控、社交机器人等。通过提高情感行为分析的准确性，可以在心理健康监测、人机交互等方面发挥重要作用，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Multimodal fusion is a significant method for most multimodal tasks. With the recent surge in the number of large pre-trained models, combining both multimodal fusion methods and pre-trained model features can achieve outstanding performance in many multimodal tasks. In this paper, we present our approach, which leverages both advantages for addressing the task of Expression (Expr) Recognition and Valence-Arousal (VA) Estimation. We evaluate the Aff-Wild2 database using pre-trained models, then extract the final hidden layers of the models as features. Following preprocessing and interpolation or convolution to align the extracted features, different models are employed for modal fusion. Our code is available at GitHub - FulgenceWen/ABAW6th.