Modality Disentangled Learning for Incomplete Multimodal Emotion Recognition: A Primitive Memory Distillation Perspective

📄 arXiv: 2608.30563v1 📥 PDF

作者: Jiaqi Zhang, Zheng Pang, Mengting Li, Yiqi Wang, Guangyuan Dong, Chao Xue, Yusen Wu, Zihao Li, Huy Phan, Sicheng Zhao, Björn W. Schuller, Jiachen Luo

分类: cs.CV

发布日期: 2026-08-31

备注: 19 Pages, 8 Figures, 13 Tables. Accepted to EMNLP 2026 Findings

🔗 代码/项目: GITHUB | PROJECT_PAGE

💡 一句话要点

提出Primitive Memory Distillation框架以解决多模态情感识别中的缺失模态问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态情感识别 模态缺失 记忆蒸馏 共享语义 鲁棒性增强 教师-学生框架 语义原语 信息解耦

📋 核心要点

  1. 现有多模态情感识别方法在处理缺失模态时，往往忽视了模态间信息的异质性，导致表示不稳定。
  2. 本文提出PriMD框架，从模态内部解耦共享语义与模态特定表示，构建模态特定记忆库以应对缺失模态问题。
  3. 在IEMOCAP、CMU-MOSI和CMU-MOSEI数据集上的实验表明，PriMD在多种缺失模态设置下表现出色，鲁棒性显著增强。

📝 摘要（中文）

多模态情感识别系统在实际应用中常常面临模态缺失的问题。现有方法通常将缺失模态整体生成、对齐或蒸馏，忽视了各模态所承载信息的异质性。这种整体处理方式混合了可推断的共享语义与不确定的模态特定细节，导致表示不稳定并降低了鲁棒性。为了解决这一问题，本文提出了Primitive Memory Distillation（PriMD）框架。PriMD从模态内部的角度出发，关注不同类型信息在可恢复性上的差异，首先将跨模态的共享语义与模态特定表示进行解耦，然后将后者离散化为可学习的语义原语，以构建模态特定的记忆库。在模态缺失时，PriMD采用教师-学生框架，学生模型利用可用模态的共享语义作为查询，动态检索原语，从而补偿缺失的模态特定信息。实验结果表明，PriMD在多种缺失模态设置下实现了最先进的性能，并显著增强了鲁棒性。

🔬 方法详解

问题定义：本文旨在解决多模态情感识别中模态缺失的问题。现有方法通常整体处理缺失模态，导致信息混合和表示不稳定，影响系统的鲁棒性。

核心思路：PriMD框架从模态内部的角度出发，关注不同类型信息的可恢复性，通过解耦共享语义与模态特定表示，构建模态特定的记忆库。

技术框架：PriMD的整体架构包括两个主要模块：首先是模态解耦模块，将共享语义与模态特定表示分离；其次是记忆库构建模块，将模态特定表示离散化为可学习的语义原语。

关键创新：PriMD的创新在于其内在的模态解耦机制，区别于现有方法的整体处理方式，能够更好地应对模态缺失带来的挑战。

关键设计：在PriMD中，采用了动态检索机制，学生模型通过查询共享语义来检索模态特定原语，补偿缺失信息。此外，设计了适应性的损失函数以优化模型的学习过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在IEMOCAP、CMU-MOSI和CMU-MOSEI数据集上的实验结果显示，PriMD在多模态缺失设置下实现了最先进的性能，相较于现有基线方法，鲁棒性提升显著，具体性能数据未提供。

🎯 应用场景

该研究的潜在应用领域包括人机交互、情感计算和社交机器人等。通过提高多模态情感识别系统在缺失模态情况下的鲁棒性，能够使这些系统在实际应用中更为可靠，提升用户体验。未来，该方法可能推动情感识别技术在医疗、教育等领域的广泛应用。

📄 摘要（原文）

Multimodal Emotion Recognition (MER) systems often suffer from missing modalities in real-world scenarios. Existing methods usually generate, align, or distill missing modalities as a whole, overlooking the heterogeneous nature of the information carried by each modality. Such holistic treatment mixes inferable shared semantics with uncertain modality-specific details, yielding unstable representations and degrading robustness. To address this issue, we propose the Primitive Memory Distillation (PriMD) framework. Unlike existing methods, PriMD takes an intra-modal perspective and focuses on how different types of information within a modality differ in recoverability within each modality. PriMD first disentangles cross-modal shared semantics from modality-specific representations, and then discretizes the latter into learnable semantic primitives to construct modality-specific memory banks. When modalities are missing, PriMD is a teacher-student framework that the student model uses the shared semantics of available modalities as queries to dynamically retrieve primitives. It compensates for missing modality-specific information within a constrained memory space and aligns with the teacher model. Extensive experiments on IEMOCAP, CMU-MOSI, and CMU-MOSEI demonstrate that PriMD achieves state-of-the-art performance and consistently stronger robustness across a wide range of missing-modality settings, while mitigating the instability caused by holistic feature inference. Our code and project website are available at https://github.com/JiaqiZhang-Sengoku/PriMD and https://jiaqizhang-sengoku.github.io/PriMD/, respectively.