Learning Robust Pair Confidence for Multimodal Emotion-Cause Pair Extraction
作者: Zhuangzhuang Pan, Ning Dong, Yingna Su, Yan Xia
分类: cs.CL
发布日期: 2026-06-17
备注: 11 pages, 3 figures, 5 tables
💡 一句话要点
提出RPCL以解决多模态情感-原因对提取中的信心脆弱问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态情感分析 原因对提取 鲁棒学习 信心评估 深度学习
📋 核心要点
- 现有方法在多模态情感-原因对提取中，往往忽视了候选对之间的相对信心几何关系，导致金对与困难负样本之间的信心脆弱。
- 本文提出RPCL框架，通过信心差异边际约束和对干净与损坏视图的对齐，增强对信心的区分性和稳定性。
- 在多个数据集上，RPCL显著提高了Pair F1和Pair AUPRC，表明其在多模态情感-原因对提取中的有效性。
📝 摘要（中文）
多模态情感-原因对提取（MECPE）需要对候选对的可靠信心。现有的对评分器通常使用有效候选的对级交叉熵，这使得相对信心几何关系受到限制。本文提出RPCL（鲁棒对信心学习），这是一个仅用于训练的框架，旨在增强对信心的区分性和稳定性。通过信心差异边际约束，金对与行级困难负样本分离，同时将干净的对预测与部分损坏的非金上下文表示的预测对齐。在ECF、MECAD和MEC4数据集上，RPCL在全文本-音频-视频设置中提高了平均Pair F1值2.58到2.83个百分点，并在所有三个数据集上提高了平均Pair AUPRC。诊断分析显示金-负样本信心差距更大，边际违反严重性更低，这表明明确塑造对信心是一种有效的训练策略。
🔬 方法详解
问题定义：本文解决多模态情感-原因对提取中的信心脆弱问题。现有方法主要依赖对级交叉熵，未能有效处理候选对之间的相对信心，导致金对与困难负样本的信心过于接近。
核心思路：RPCL框架旨在通过引入信心差异边际约束，使金对与困难负样本之间的信心差距更大，同时通过对干净和损坏视图的对齐，增强信心的稳定性。
技术框架：RPCL的整体架构包括两个主要阶段：首先，通过信心差异边际约束训练模型，使金对与困难负样本的信心分离；其次，在推理时使用原始的干净对评分器和解码管道。
关键创新：RPCL的主要创新在于通过信心差异边际约束和干净与损坏视图的对齐，显著提高了对信心的区分性和稳定性，这与现有方法的独立评分机制形成鲜明对比。
关键设计：在损失函数中引入信心差异边际约束，确保金对的信心高于困难负样本的信心，同时设计了对干净和损坏视图的对齐机制，以增强模型的鲁棒性。具体的网络结构和参数设置在实验中进行了详细调优。
🖼️ 关键图片
📊 实验亮点
实验结果表明，RPCL在ECF、MECAD和MEC4数据集上，平均Pair F1值提升了2.58到2.83个百分点，同时在所有数据集上提高了平均Pair AUPRC。这些结果显示出RPCL在多模态情感-原因对提取中的显著优势，尤其是在信心差距和边际违反方面的改善。
🎯 应用场景
该研究的潜在应用领域包括情感分析、社交媒体监测和人机交互等。通过提高多模态情感-原因对提取的准确性，RPCL可以帮助更好地理解用户情感和意图，从而提升用户体验和服务质量。未来，该方法可能在情感计算和智能助手等领域产生深远影响。
📄 摘要（原文）
Multimodal emotion-cause pair extraction (MECPE) requires reliable pair confidence over candidate pairs. Existing pair scorers commonly use pair-level cross entropy over valid candidates, which treats links mostly independently. This leaves the relative confidence geometry among competing causes under-constrained, allowing gold pairs to stay close to hard negatives or rely on incidental non-gold context. We study this vulnerability as pair-confidence brittleness and propose RPCL (Robust Pair Confidence Learning), a training-only framework for pair-confidence learning. RPCL encourages pair confidence to be both discriminative and stable: gold pairs are separated from row-wise hard negatives through a confidence-difference margin constraint, and clean pair predictions are aligned with predictions from a corrupted view where non-gold contextual utterance representations are partially corrupted. The original clean pair scorer and decoding pipeline are used unchanged at inference time. On ECF, MECAD, and MEC4, RPCL improves the three-seed mean Pair F1 over a matched base model by 2.58 to 2.83 percentage points in the full text-audio-video setting, and improves mean Pair AUPRC on all three datasets. Diagnostic analysis further shows larger gold-negative confidence gaps and lower margin-violation severity. These results suggest that explicitly shaping pair confidence is an effective training strategy for MECPE.