Contrastive Mixed Prompt Learning for Incomplete Multimodal Sentiment Analysis with Unseen Modality Combination

📄 arXiv: 2608.20019v1 📥 PDF

作者: Kaixin Xu, NaiJin Liu, Yulin Kang, Tangyue Jin, Zixuan Yu, Wenxi Zhao, Yibei Liu, Qianle Zhang, Yangyang Wu, Mengying Zhu, Meng Xi

分类: cs.AI

发布日期: 2026-08-20

💡 一句话要点

提出对比混合提示学习以解决未见模态组合的多模态情感分析问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态情感分析 对比学习 模态组合 深度学习 特征学习 泛化能力 机器学习

📋 核心要点

  1. 现有方法通常假设数据缺失是随机的，未能有效处理训练和测试阶段模态组合的不一致性，导致模型泛化能力不足。
  2. 本文提出的CMPL模型通过引入标签引导的对比特征学习机制和模态组合提示，旨在提高对未见模态组合的学习能力。
  3. 实验结果表明，CMPL在三个广泛使用的数据集上准确性提升超过5%，显著优于当前最先进的方法。

📝 摘要（中文）

近年来，不完整的多模态情感分析受到了广泛关注。现有方法通常假设数据随机缺失或专门针对特定缺失模式设计，忽视了训练和测试阶段之间模态组合的不一致性。本文提出了未见模态组合的不完整多模态情感分析问题（IMSAUMC），旨在增强模型对未见模态组合的泛化能力。为此，我们提出了对比混合提示学习（CMPL）模型，引入了标签引导的对比特征学习机制，以学习稳健且具有区分性的跨模态表示。此外，我们设计了带有软路由的模态组合提示，以促进对各种模态组合的更好学习。通过三种提示对比学习策略，显著增强了模型在多样化测试场景中的泛化能力。大量实验表明，CMPL在准确性上比现有最先进的方法提高了超过5%。

🔬 方法详解

问题定义：本文解决的是未见模态组合的不完整多模态情感分析问题。现有方法在处理模态组合不一致性时表现不佳，导致模型在真实场景中的泛化能力不足。

核心思路：论文的核心思路是通过对比混合提示学习（CMPL）来增强模型对未见模态组合的泛化能力。通过引入标签引导的对比特征学习机制，模型能够学习到更稳健的跨模态表示。

技术框架：CMPL的整体架构包括三个主要模块：标签引导的对比特征学习机制、模态组合提示设计和提示对比学习策略。首先，通过对比学习机制来增强特征的区分性；其次，设计模态组合提示以适应不同的模态组合；最后，通过对比学习策略来优化提示的学习过程。

关键创新：CMPL的主要创新在于引入了标签引导的对比特征学习机制和模态组合提示，这与现有方法的设计思路有本质区别，使得模型能够更好地适应未见模态组合的情况。

关键设计：在关键设计方面，CMPL采用了软路由机制来动态选择模态组合，并设计了三种提示对比学习策略，以有效学习与未见模态组合对应的提示。这些设计细节显著提升了模型的学习效果和泛化能力。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在实验中，CMPL在三个广泛使用的数据集上表现出色，准确性提升超过5%，显著优于当前最先进的方法。这一结果表明，CMPL在处理未见模态组合时具有更强的泛化能力和稳定性，为多模态情感分析提供了新的解决方案。

🎯 应用场景

该研究在多模态情感分析领域具有广泛的应用潜力，尤其是在社交媒体分析、用户情感识别和人机交互等场景中。通过提高模型对未见模态组合的适应能力，能够更准确地理解和分析用户情感，从而提升用户体验和服务质量。未来，该方法还可能扩展到其他多模态任务，如视频分析和语音识别等。

📄 摘要（原文）

Incomplete multimodal sentiment analysis has garnered significant attention in recent years. Existing approaches typically assume that data is missing at random or are designed specifically for certain missing patterns, ignoring the modality combination inconsistency between training and testing phases. However, in real-world scenarios, the testing phase often encounters modal combinations that were not present during the training phase, which leads to insufficient generalization capabilities and unstable performance. In this paper, we introduce the problem of Incomplete Multimodal Sentiment Analysis with Unseen Modality Combinations (IMSAUMC), aiming to enhance model generalization for unseen modality combinations. To address this challenge, we propose the model named $\textbf{C}$ontrastive $\textbf{M}$ixed $\textbf{P}$rompt $\textbf{L}$earning ($\textsf{CMPL}$) for IMSAUMC. It introduces a label-guided contrastive feature learning mechanism to learn robust and discriminative cross-modal representations. Additionally, we design modality-combination prompts with a soft router to facilitate better learning of various modality combinations. Furthermore, we introduce three prompt contrastive learning strategies, which enable effective learning of prompts corresponding to unseen modality combinations, thereby significantly strengthening the model's generalization capabilities in diverse testing scenarios. Extensive experiments on three widely used datasets demonstrate that $\textsf{CMPL}$ achieves more than a 5% improvement in accuracy compared to state-of-the-art approaches.