MF-AED-AEC: Speech Emotion Recognition by Leveraging Multimodal Fusion, Asr Error Detection, and Asr Error Correction

📄 arXiv: 2401.13260v2 📥 PDF

作者: Jiajun He, Xiaohan Shi, Xingfeng Li, Tomoki Toda

分类: cs.CL, cs.MM, cs.SD, eess.AS

发布日期: 2024-01-24 (更新: 2024-05-28)

备注: Accepted by ICASSP 2024

💡 一句话要点

提出MF-AED-AEC以解决语音情感识别中的ASR错误问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语音情感识别 多模态融合 ASR错误检测 ASR错误纠正 共享表示 情感计算 人机交互

📋 核心要点

  1. 现有的语音情感识别方法在处理ASR生成的文本时，容易受到ASR错误的影响，导致情感识别性能下降。
  2. 本文提出MF-AED-AEC方法，通过引入ASR错误检测和纠正任务，增强文本的语义一致性，并采用多模态融合技术。
  3. 实验结果显示，MF-AED-AEC方法在情感识别任务中比基线模型提高了4.1%的准确率，验证了其有效性。

📝 摘要（中文）

本论文提出了一种新的语音情感识别方法MF-AED-AEC，旨在通过结合多模态融合、ASR错误检测和ASR错误纠正来提升情感识别的准确性。现有方法在使用自动语音识别（ASR）生成文本时，ASR错误可能会影响情感识别的性能。为了解决这一问题，本文引入了两个辅助任务：ASR错误检测（AED）和ASR错误纠正（AEC），以增强ASR文本的语义一致性，并提出了一种新颖的多模态融合方法，以学习跨模态的共享表示。实验结果表明，MF-AED-AEC在性能上显著优于基线模型，提升幅度达到4.1%。

🔬 方法详解

问题定义：本论文旨在解决语音情感识别中ASR错误对情感识别性能的负面影响。现有方法仅依赖于ASR错误检测，未能有效处理文本语义的一致性问题。

核心思路：论文提出通过引入ASR错误检测（AED）和ASR错误纠正（AEC）两个辅助任务，来提升ASR生成文本的语义一致性，从而改善情感识别的效果。

技术框架：MF-AED-AEC方法的整体架构包括三个主要模块：ASR错误检测模块、ASR错误纠正模块和多模态融合模块。首先，检测ASR文本中的错误，然后进行纠正，最后通过多模态融合学习共享表示。

关键创新：最重要的创新在于同时引入ASR错误检测和纠正任务，增强了文本的语义一致性，并通过新颖的多模态融合方法有效解决了不同模态之间的表示差异。

关键设计：在模型设计中，采用了特定的损失函数来平衡ASR错误检测和纠正的影响，并设计了适应不同模态特征的网络结构，以提高融合效果。具体参数设置和网络架构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，MF-AED-AEC方法在语音情感识别任务中显著优于基线模型，准确率提升了4.1%。这一提升验证了引入ASR错误检测和纠正任务的有效性，并展示了多模态融合在情感识别中的重要性。

🎯 应用场景

该研究在语音情感识别领域具有广泛的应用潜力，特别是在情感分析、智能客服、情感计算等场景中。通过提高情感识别的准确性，能够更好地理解用户情感，从而提升人机交互的质量和用户体验。未来，该方法还可以扩展到其他多模态任务中，进一步推动相关领域的发展。

📄 摘要（原文）

The prevalent approach in speech emotion recognition (SER) involves integrating both audio and textual information to comprehensively identify the speaker's emotion, with the text generally obtained through automatic speech recognition (ASR). An essential issue of this approach is that ASR errors from the text modality can worsen the performance of SER. Previous studies have proposed using an auxiliary ASR error detection task to adaptively assign weights of each word in ASR hypotheses. However, this approach has limited improvement potential because it does not address the coherence of semantic information in the text. Additionally, the inherent heterogeneity of different modalities leads to distribution gaps between their representations, making their fusion challenging. Therefore, in this paper, we incorporate two auxiliary tasks, ASR error detection (AED) and ASR error correction (AEC), to enhance the semantic coherence of ASR text, and further introduce a novel multi-modal fusion (MF) method to learn shared representations across modalities. We refer to our method as MF-AED-AEC. Experimental results indicate that MF-AED-AEC significantly outperforms the baseline model by a margin of 4.1\%.