ADMC: Attention-based Diffusion Model for Missing Modalities Feature Completion

📄 arXiv: 2507.05624 📥 PDF

作者: Yuhan Li, Wei Zhang, Juan Chen, Jiangjia Yan, Peng Xiangli, Liangze Yin

分类: cs.AI

发布日期: 2026-07-05

💡 一句话要点

提出ADMC以解决多模态缺失特征补全问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态情感识别 特征补全 注意力机制 扩散模型 人机交互 深度学习

📋 核心要点

  1. 现有方法在处理多模态缺失特征时，常常面临过度耦合和生成不精确的问题，导致效果不理想。
  2. 本文提出的ADMC模型通过独立训练每种模态的特征提取网络，避免了模态间的过度耦合，提升了特征生成的准确性。
  3. 在IEMOCAP和MIntRec基准测试中，ADMC模型在缺失模态和完整模态场景下均取得了最先进的结果，显示出显著的性能提升。

📝 摘要（中文）

多模态情感与意图识别对于自动化人机交互至关重要，然而由于传感器故障或数据不完整，缺失模态成为一大挑战。传统重建方法常因过度耦合和生成过程不精确而导致效果不佳。为此，本文提出了一种基于注意力的扩散模型（ADMC），该模型独立训练每种模态的特征提取网络，保留其独特特性，避免过度耦合。ADMC的注意力扩散网络（ADN）生成的缺失模态特征与真实的多模态分布紧密对齐，提升了在所有缺失模态场景下的性能。此外，ADN的跨模态生成在全模态上下文中也表现出更好的识别效果。该方法在IEMOCAP和MIntRec基准测试中取得了最先进的结果，证明了其在缺失和完整模态场景中的有效性。

🔬 方法详解

问题定义：本文旨在解决多模态情感与意图识别中的缺失模态特征补全问题。现有方法常因过度耦合和生成过程不精确，导致重建效果不佳。

核心思路：ADMC模型通过独立训练每种模态的特征提取网络，保留模态特性，利用注意力机制生成缺失模态特征，从而避免了信息的过度耦合。

技术框架：ADMC的整体架构包括特征提取网络和注意力扩散网络（ADN）。特征提取网络负责从每种模态中提取特征，而ADN则生成与真实多模态分布相符的缺失特征。

关键创新：ADMC的主要创新在于其注意力扩散网络能够在缺失模态场景下生成高质量特征，并且在全模态上下文中也能提升识别性能，这与传统方法的耦合生成方式形成鲜明对比。

关键设计：模型设计中，特征提取网络的结构经过优化，损失函数采用了针对多模态特征生成的专门设计，以确保生成特征的准确性和一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在IEMOCAP和MIntRec基准测试中，ADMC模型在缺失模态和完整模态场景下均取得了最先进的结果，具体性能提升幅度达到XX%，显著优于现有基线方法。

🎯 应用场景

该研究在自动化人机交互、情感识别和意图分析等领域具有广泛的应用潜力。通过有效补全缺失模态特征，ADMC能够提升系统的鲁棒性和用户体验，未来可能在智能助手、情感计算等领域产生深远影响。

📄 摘要（原文）

Multimodal emotion and intent recognition is essential for automated human-computer interaction, It aims to analyze users' speech, text, and visual information to predict their emotions or intent. One of the significant challenges is that missing modalities due to sensor malfunctions or incomplete data. Traditional methods that attempt to reconstruct missing information often suffer from over-coupling and imprecise generation processes, leading to suboptimal outcomes. To address these issues, we introduce an Attention-based Diffusion model for Missing Modalities feature Completion (ADMC). Our framework independently trains feature extraction networks for each modality, preserving their unique characteristics and avoiding over-coupling. The Attention-based Diffusion Network (ADN) generates missing modality features that closely align with authentic multimodal distribution, enhancing performance across all missing-modality scenarios. Moreover, ADN's cross-modal generation offers improved recognition even in full-modality contexts. Our approach achieves state-of-the-art results on the IEMOCAP and MIntRec benchmarks, demonstrating its effectiveness in both missing and complete modality scenarios.