AUD-TGN: Advancing Action Unit Detection with Temporal Convolution and GPT-2 in Wild Audiovisual Contexts

📄 arXiv: 2403.13678v1 📥 PDF

作者: Jun Yu, Zerui Zhang, Zhihong Wei, Gongpeng Zhao, Zhongpeng Cai, Yongqi Wang, Guochen Xie, Jichao Zhu, Wangyuan Zhu

分类: cs.CV

发布日期: 2024-03-20

💡 一句话要点

提出AUD-TGN以解决野外环境下的面部动作单元检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 面部动作单元 情感计算 时间动态 上下文感知 音频特征提取 视觉特征提取

📋 核心要点

  1. 现有多模态信息整合方法在野外环境下的面部动作单元检测中效果不佳，导致准确性不足。
  2. 本文提出结合音频和视觉数据的新方法，通过MFCC和Log-Mel谱特征增强音频特征，并利用GPT-2进行上下文感知融合。
  3. 实验结果表明，该方法在AU检测准确性上有显著提升，展示了时间动态和上下文解释的潜力。

📝 摘要（中文）

本研究利用音频和视觉数据的协同作用，旨在理解人类情感和行为，尤其是在野外环境中。传统的多模态信息整合方法往往效果不佳，导致面部动作单元检测的准确性不足。为此，本文提出了一种新颖的方法，结合音频特征提取和预训练的VGGish网络，利用梅尔频率倒谱系数（MFCC）和对数梅尔谱特征进行音频特征增强。此外，论文通过建模时间关系自适应捕捉跨模态融合特征，并利用预训练的GPT-2模型进行复杂的上下文感知融合。这种方法显著提高了AU检测的准确性，展示了对复杂场景理解的重大进展。

🔬 方法详解

问题定义：本研究旨在解决在野外环境中面部动作单元检测的准确性不足问题。现有方法在整合音频与视觉数据时，常常未能有效捕捉时间和上下文信息，导致检测效果不理想。

核心思路：论文提出了一种新颖的多模态融合方法，通过增强音频特征提取和建模时间关系，利用GPT-2模型进行上下文感知融合，从而提高AU检测的准确性。

技术框架：整体架构包括音频特征提取模块（使用MFCC和Log-Mel谱特征）、视觉特征提取模块（基于VGGish网络）以及融合模块（利用GPT-2进行上下文感知融合）。各模块协同工作，提升了多模态信息的整合效果。

关键创新：最重要的创新在于通过时间关系建模自适应捕捉跨模态融合特征，并利用预训练的GPT-2模型进行复杂的上下文感知融合，这与传统方法的静态特征融合形成了本质区别。

关键设计：在参数设置上，采用了预训练的VGGish网络进行视觉特征提取，音频特征则通过MFCC和Log-Mel谱进行增强，损失函数设计为适应多模态特征的融合，确保了模型的有效训练。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，所提方法在AU检测任务中相较于基线模型提升了显著的准确性，具体提升幅度达到XX%（具体数据未知），验证了时间动态和上下文理解在多模态融合中的重要性。

🎯 应用场景

该研究的潜在应用领域包括情感计算、社交机器人、智能监控等。通过提高面部动作单元检测的准确性，能够更好地理解人类情感和行为，为人机交互和情感识别技术的发展提供支持，未来可能在心理健康监测和人机协作等方面产生深远影响。

📄 摘要（原文）

Leveraging the synergy of both audio data and visual data is essential for understanding human emotions and behaviors, especially in in-the-wild setting. Traditional methods for integrating such multimodal information often stumble, leading to less-than-ideal outcomes in the task of facial action unit detection. To overcome these shortcomings, we propose a novel approach utilizing audio-visual multimodal data. This method enhances audio feature extraction by leveraging Mel Frequency Cepstral Coefficients (MFCC) and Log-Mel spectrogram features alongside a pre-trained VGGish network. Moreover, this paper adaptively captures fusion features across modalities by modeling the temporal relationships, and ultilizes a pre-trained GPT-2 model for sophisticated context-aware fusion of multimodal information. Our method notably improves the accuracy of AU detection by understanding the temporal and contextual nuances of the data, showcasing significant advancements in the comprehension of intricate scenarios. These findings underscore the potential of integrating temporal dynamics and contextual interpretation, paving the way for future research endeavors.