Borrowing Treasures from Neighbors: In-Context Learning for Multimodal Learning with Missing Modalities and Data Scarcity

📄 arXiv: 2403.09428v2 📥 PDF

作者: Zhuo Zhi, Ziquan Liu, Moe Elbadawi, Adam Daneshmend, Mine Orlu, Abdul Basit, Andreas Demosthenous, Miguel Rodrigues

分类: cs.LG

发布日期: 2024-03-14 (更新: 2024-03-26)

💡 一句话要点

提出检索增强的上下文学习以解决多模态学习中的缺失模态问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 缺失模态 上下文学习 数据稀缺 检索增强 样本效率 分类模型

📋 核心要点

  1. 现有方法主要依赖于充分的训练样本，难以应对缺失模态和数据稀缺的挑战。
  2. 本文提出检索增强的上下文学习，充分利用全模态数据，提升样本效率。
  3. 在仅有1%训练数据的情况下，方法在多个任务上平均提升6.1%，缩小了全模态与缺失模态数据的性能差距。

📝 摘要（中文）

多模态机器学习中的缺失模态问题在医疗等应用中日益重要。本文将缺失模态研究扩展到低数据环境，即下游任务同时面临缺失模态和样本量有限的问题。为了解决这两个关键问题，提出了一种检索增强的上下文学习方法，利用变换器的上下文学习能力。与现有主要依赖参数化方法的研究不同，本文利用可用的全模态数据，提供了新的视角。实验证明，该框架在低数据环境下的样本效率更高，分类模型在全模态和缺失模态数据上的性能得到提升。仅在1%的训练数据可用时，提出的方法在多个数据集和缺失状态下平均提升了6.1%。

🔬 方法详解

问题定义：本文解决的是在多模态学习中，如何在缺失模态和数据稀缺的情况下进行有效学习。现有方法通常需要大量的训练样本，无法适应这种低数据环境。

核心思路：提出的解决思路是利用检索增强的上下文学习，充分挖掘可用的全模态数据，以提高样本效率和模型性能。通过这种方式，能够在缺失模态情况下仍然保持较好的学习效果。

技术框架：整体架构包括数据检索模块和上下文学习模块。首先，通过检索模块获取相关的全模态数据，然后将这些数据输入到上下文学习模块中进行训练和推理。

关键创新：最重要的技术创新在于将检索增强的上下文学习与低数据环境结合，突破了传统方法对充分样本的依赖，提供了一种新的解决思路。

关键设计：在参数设置上，采用了适应性损失函数以平衡不同模态的影响，同时设计了特定的网络结构以支持检索和上下文学习的结合。

📊 实验亮点

实验结果显示，当训练数据仅占1%时，提出的方法在多个数据集上平均提升了6.1%，显著优于最近的强基线。此外，方法有效缩小了全模态与缺失模态数据之间的性能差距，展示了其在低数据环境下的优势。

🎯 应用场景

该研究在医疗、自动驾驶、智能家居等领域具有广泛的应用潜力。在这些领域，数据获取成本高且模态缺失现象普遍，提出的方法能够有效提升模型在实际应用中的表现，具有重要的实际价值和未来影响。

📄 摘要（原文）

Multimodal machine learning with missing modalities is an increasingly relevant challenge arising in various applications such as healthcare. This paper extends the current research into missing modalities to the low-data regime, i.e., a downstream task has both missing modalities and limited sample size issues. This problem setting is particularly challenging and also practical as it is often expensive to get full-modality data and sufficient annotated training samples. We propose to use retrieval-augmented in-context learning to address these two crucial issues by unleashing the potential of a transformer's in-context learning ability. Diverging from existing methods, which primarily belong to the parametric paradigm and often require sufficient training samples, our work exploits the value of the available full-modality data, offering a novel perspective on resolving the challenge. The proposed data-dependent framework exhibits a higher degree of sample efficiency and is empirically demonstrated to enhance the classification model's performance on both full- and missing-modality data in the low-data regime across various multimodal learning tasks. When only 1% of the training data are available, our proposed method demonstrates an average improvement of 6.1% over a recent strong baseline across various datasets and missing states. Notably, our method also reduces the performance gap between full-modality and missing-modality data compared with the baseline.