MIDAS: Misalignment-based Data Augmentation Strategy for Imbalanced Multimodal Learning

📄 arXiv: 2509.25831v1 📥 PDF

作者: Seong-Hyeon Hwang, Soyoung Choi, Steven Euijong Whang

分类: cs.LG

发布日期: 2025-09-30

备注: Accepted to NeurIPS 2025

💡 一句话要点

提出MIDAS，通过不一致数据增强解决多模态不平衡学习问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 数据增强 模态不平衡 置信度学习 弱模态加权 难样本挖掘 跨模态融合

📋 核心要点

  1. 多模态学习中，模型易过度依赖强势模态，忽略弱势模态信息，导致性能瓶颈。
  2. MIDAS通过生成模态间语义不一致的错位样本，并结合置信度进行标记，迫使模型学习矛盾信息。
  3. 实验表明，MIDAS在多个多模态分类任务上显著优于现有方法，有效缓解了模态不平衡问题。

📝 摘要（中文）

多模态模型常常过度依赖主导模态，导致性能未达到最优。现有工作主要集中在修改训练目标或优化过程，而以数据为中心的解决方案仍未被充分探索。我们提出了MIDAS，一种新颖的数据增强策略，它生成具有语义不一致跨模态信息的错位样本，并使用单模态置信度分数进行标记，以迫使模型从矛盾信号中学习。然而，这种基于置信度的标记仍然可能偏向于更自信的模态。为了解决这个问题，我们在错位样本中引入了弱模态加权，动态地增加置信度最低的模态的损失权重，从而帮助模型充分利用较弱的模态。此外，当错位特征与对齐特征表现出更大的相似性时，这些错位样本会带来更大的挑战，从而使模型能够更好地区分不同的类别。为了利用这一点，我们提出了难样本加权，优先考虑这些语义上模糊的错位样本。在多个多模态分类基准上的实验表明，MIDAS在解决模态不平衡问题方面显著优于相关的基线方法。

🔬 方法详解

问题定义：多模态学习中，模型容易过度依赖某些主导模态，而忽略其他弱势模态的信息，导致模型性能受限。现有方法主要集中在修改训练目标或优化过程，缺乏有效的数据增强策略来平衡不同模态的影响。

核心思路：MIDAS的核心思路是通过生成模态间语义不一致的错位样本，迫使模型学习从矛盾信息中提取有用特征。通过引入这种“噪声”，模型需要更加关注所有模态的信息，而不是仅仅依赖于最强的模态。

技术框架：MIDAS主要包含以下几个步骤：1) 数据错位：通过随机替换或重组不同模态的数据，生成模态间语义不一致的样本。2) 置信度标记：使用单模态的置信度分数来标记错位样本，引导模型学习从矛盾信号中提取信息。3) 弱模态加权：动态增加置信度较低的模态的损失权重，鼓励模型更多地关注弱势模态。4) 难样本加权：优先考虑与原始对齐样本更相似的错位样本，因为这些样本更具挑战性，能够提升模型的区分能力。

关键创新：MIDAS的关键创新在于其数据增强策略，它不是简单地复制或修改现有数据，而是通过生成模态间语义不一致的错位样本来引入“噪声”，从而迫使模型学习从矛盾信息中提取有用特征。这种方法与现有方法专注于修改训练目标或优化过程不同，提供了一种新的解决模态不平衡问题的思路。

关键设计：MIDAS的关键设计包括：1) 错位样本的生成方式，例如随机替换或重组不同模态的数据。2) 置信度分数的计算方法，可以使用单模态模型的预测概率或其他置信度指标。3) 弱模态加权的权重调整策略，可以根据模态的置信度动态调整权重。4) 难样本加权的权重计算方法，可以基于错位样本与原始对齐样本的相似度来确定权重。

📊 实验亮点

MIDAS在多个多模态分类基准数据集上进行了评估，实验结果表明，MIDAS显著优于现有的基线方法。例如，在某些数据集上，MIDAS的性能提升超过5%，证明了其在解决模态不平衡问题方面的有效性。此外，消融实验验证了弱模态加权和难样本加权策略的有效性。

🎯 应用场景

MIDAS可应用于各种多模态学习任务，如视频理解、情感分析、医学诊断等。通过解决模态不平衡问题，可以提升模型在实际应用中的鲁棒性和泛化能力，尤其是在数据质量参差不齐或模态信息缺失的情况下。未来可进一步探索MIDAS在更复杂的多模态场景下的应用，例如多模态对话系统和机器人感知。

📄 摘要（原文）

Multimodal models often over-rely on dominant modalities, failing to achieve optimal performance. While prior work focuses on modifying training objectives or optimization procedures, data-centric solutions remain underexplored. We propose MIDAS, a novel data augmentation strategy that generates misaligned samples with semantically inconsistent cross-modal information, labeled using unimodal confidence scores to compel learning from contradictory signals. However, this confidence-based labeling can still favor the more confident modality. To address this within our misaligned samples, we introduce weak-modality weighting, which dynamically increases the loss weight of the least confident modality, thereby helping the model fully utilize weaker modality. Furthermore, when misaligned features exhibit greater similarity to the aligned features, these misaligned samples pose a greater challenge, thereby enabling the model to better distinguish between classes. To leverage this, we propose hard-sample weighting, which prioritizes such semantically ambiguous misaligned samples. Experiments on multiple multimodal classification benchmarks demonstrate that MIDAS significantly outperforms related baselines in addressing modality imbalance.