When Models Hear What They Expect: Diagnosing Prosodic Heuristics in Multimodal Sarcasm Detection
作者: Yongjian Chen, Pengfei Wei, Yiqun Sun, Zhu Li, Lawrence B. Hsieh
分类: cs.CL
发布日期: 2026-08-31
备注: Accepted to EMNLP 2026 Findings
💡 一句话要点
提出多模态模型的讽刺检测方法以解决音调启发式问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态学习 讽刺检测 韵律分析 声学特征 语言模型 自然语言处理 音频处理
📋 核心要点
- 现有多模态模型在讽刺检测中未能有效利用韵律线索，导致假阳性率高。
- 本文通过系统评估不同模态条件下的模型表现，提出了针对韵律特征的操控方法。
- 实验结果显示，添加音频并未提高真实阳性检测，反而增加假阳性，揭示了模型对韵律的误解。
📝 摘要（中文）
多模态大型语言模型（MLLMs）能够同时处理语音和文本，但它们是否利用韵律线索进行语用推理，或仅依赖表面声学模式，尚缺乏系统性研究。本文通过讽刺检测进行探讨，评估了Qwen2.5-Omni和Qwen3-Omni在中文和英文下的表现，分析了词汇内容、声学语义和韵律结构的贡献。结果显示，添加音频会系统性增加假阳性率，而未能改善真实阳性检测。声学错误诊断表明，模型错误集中在对表现性韵律的刻板印象上，尤其是升高的音调和不规则的停顿，这与两种语言中标记讽刺的实际线索相悖。对这两个维度的有针对性操控证实了这一启发式，假阳性率高达60%。将相同的操控模板应用于Gemini 3 Flash Preview也复制了这一效果，表明这一刻板印象超出了Qwen Omni系列，而非源于单一模型架构。
🔬 方法详解
问题定义：本文旨在解决多模态大型语言模型在讽刺检测中对韵律线索的利用不足，现有方法在处理音频时常导致假阳性率上升。
核心思路：通过对音频特征的系统分析，识别模型在韵律理解上的误区，特别是对升高音调和不规则停顿的刻板印象，从而提出有针对性的操控方法。
技术框架：研究设计了五种模态条件，分别评估词汇内容、声学语义和韵律结构对讽刺检测的贡献，构建了一个多模态评估框架。
关键创新：最重要的创新在于揭示了模型在韵律特征上的刻板印象，尤其是对升高音调和停顿的误解，导致了高假阳性率，这一发现与现有方法的理解存在本质区别。
关键设计：在实验中，针对韵律特征的操控设计了特定的参数设置，重点关注音调和停顿的变化，利用这些变化进行因果验证，确保实验结果的可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，添加音频特征并未提高真实阳性检测，反而使假阳性率上升至60%。此外，对Gemini 3 Flash Preview的相同操控也复制了这一效果，表明这一现象并非特定于Qwen Omni系列模型。
🎯 应用场景
该研究的潜在应用领域包括情感分析、社交媒体监测和人机交互等。通过改进多模态模型对韵律线索的理解，可以提升讽刺和幽默内容的识别能力，进而增强自然语言处理系统的智能化水平。未来，这一研究可能推动更广泛的多模态理解技术的发展。
📄 摘要（原文）
Multimodal Large Language Models (MLLMs) process speech and text jointly, yet whether they exploit prosodic cues for pragmatic inference or rely on surface acoustic patterns has received little systematic investigation. We address this through sarcasm detection, evaluating Qwen2.5-Omni and Qwen3-Omni on Mandarin Chinese and English under five modality conditions that decompose the contributions of lexical content, vocal semantics, and prosodic structure. Adding audio systematically inflates false positives without improving true positive detection. Acoustic error diagnosis reveals that model errors cluster on a shared stereotype of expressive prosody, namely elevated pitch and irregular pausing, that diverges from the actual cues marking sarcasm in both languages. Targeted manipulation of only these two dimensions causally confirms the heuristic, inducing false positive rates of up to 60%. Applying the same manipulation template to Gemini~3 Flash Preview without modification replicates the effect, suggesting that the stereotype extends beyond the Qwen Omni family rather than arising from a single model architecture.