Incongruence-Aware Evaluation of Multimodal Speech Emotion Recognition in Audio Large Language Models
作者: Fengji Jing, Guy Laban
分类: cs.AI, cs.CL, cs.MM, cs.SD, eess.AS
发布日期: 2026-10-29
💡 一句话要点
提出一种不一致性评分以提升多模态语音情感识别准确性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态情感识别 不一致性评分 高斯混合模型 语音交互 情感计算
📋 核心要点
- 现有的多模态语音情感识别方法未能有效处理文本与音频之间的不一致性，导致识别准确性下降。
- 论文提出了一种新的不一致性评分方法，通过将文本和音频映射到情感空间，量化其不一致性。
- 实验结果显示，在音频存在的情况下，不一致性显著提高了错误概率，且该评分在所有测试语料库中均有效。
📝 摘要（中文）
本研究探讨了语音交互的大型语言模型在处理说话内容与语音表达时可能出现的不一致性，及其对语音情感识别的影响。通过将文本和音频映射到共享的情感空间，论文提出了一种基于两成分高斯混合模型的连续不一致性评分，并通过与人类判断的验证，评估了三种具备音频能力的模型在不同语料库上的表现。结果表明，不一致性在音频存在时显著提高了错误概率，且这一现象在所有语料库中均得到了验证。研究还发现，文本单独的效果不可靠，模型的选择会影响结果的方向。最终，研究发布了代码、数据表和提示信息。
🔬 方法详解
问题定义：本研究旨在解决多模态语音情感识别中，文本与音频之间不一致性对识别准确性的影响。现有方法未能充分考虑这一问题，导致识别错误率上升。
核心思路：论文提出了一种基于两成分高斯混合模型的连续不一致性评分，通过将文本和音频映射到共享的情感空间，量化其不一致性，从而提升情感识别的准确性。
技术框架：整体架构包括数据预处理、特征提取、情感空间映射和不一致性评分计算四个主要模块。首先对音频和文本进行特征提取，然后将其映射到情感空间，最后计算不一致性评分。
关键创新：最重要的创新在于提出了一种不依赖情感词典的评分方法，该方法能够在所有测试语料库中有效预测错误，区别于现有依赖情感词典的模型。
关键设计：在模型设计中，采用了两成分高斯混合模型来计算不一致性评分，确保评分的连续性和无阈值特性。此外，实验中还对比了六种简化的评分方法，验证了所提方法的优越性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在音频存在的情况下，不一致性显著提高了错误概率，且在所有三个语料库中均得到了验证。与传统的监督分类器相比，所提方法在处理不一致性时表现出更高的错误预测能力，显示出其在多模态情感识别中的重要性。
🎯 应用场景
该研究的潜在应用领域包括情感计算、智能客服、语音助手等，能够提升这些系统在处理多模态输入时的情感识别能力。未来，该方法有望推动更智能的人机交互，提升用户体验。
📄 摘要（原文）
Voice-interactive large language models process both what a speaker says and how they say it, yet the two channels do not always agree. We ask whether that disagreement degrades speech emotion recognition. Mapping text and audio into a shared valence-arousal-dominance space, we convert the distance between them into a continuous, threshold-free incongruence score with a two-component Gaussian mixture, and validate the score against human judgement. We evaluate three audiocapable models on acted, conversational and spontaneous speech (eNTERFACE'05, MELD and CMU-MOSEI). With the model held constant across modalities, incongruence raises the odds of error whenever audio is present, in every corpus, after controlling for the ground-truth emotion and for distance in the feature space. Supervised classifiers trained on the same features behave in the opposite way, which suggests that the difficulty lies in how these models combine raw evidence rather than in the signal itself. Text-only effects are unreliable: swapping only the model that reads the transcript reverses their sign on one corpus. Rebuilding the score without the emotion lexicon reproduces the central result, and among six simpler alternatives it is the only label-free score that predicts error in all three corpora. Code, data tables and prompts are released.