Data-Efficient Multimodal Fusion on a Single GPU

📄 arXiv: 2312.10144v4 📥 PDF

作者: Noël Vouitsis, Zhaoyan Liu, Satya Krishna Gorti, Valentin Villecroze, Jesse C. Cresswell, Guangwei Yu, Gabriel Loaiza-Ganem, Maksims Volkovs

分类: cs.LG, cs.AI, cs.CV

发布日期: 2023-12-15 (更新: 2024-04-10)

备注: CVPR 2024 (Highlight)

🔗 代码/项目: GITHUB

💡 一句话要点

提出FuseMix：一种数据高效的多模态融合方法，显著降低训练成本。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 数据增强 潜在空间 跨模态检索 预训练模型

📋 核心要点

  1. 现有方法在多模态融合中依赖大量配对数据和高昂的计算资源，限制了其在资源受限场景的应用。
  2. FuseMix通过在预训练单模态编码器的潜在空间中进行多模态增强，实现了数据高效的多模态对齐。
  3. 实验表明，FuseMix在图像-文本和音频-文本检索任务中，以更少的计算资源和数据量，达到甚至超越现有最佳方法的性能。

📝 摘要（中文）

多模态对齐的目标是学习一个在多模态输入之间共享的单一潜在空间。目前最强大的模型依赖于大规模配对输入数据集和大量的计算资源进行训练，这使得它们在许多实际场景中的训练成本过高。我们认为，在大量单模态数据上预训练的现有单模态编码器应该能够有效地引导从单模态模型创建多模态模型，从而大大降低成本。因此，我们提出FuseMix，一种多模态增强方案，它在任意预训练的单模态编码器的潜在空间上运行。通过使用FuseMix进行多模态对齐，我们在图像-文本和音频-文本检索中都取得了具有竞争力的性能——在某些情况下甚至优于最先进的方法——同时显著减少了计算和数据量：例如，在Flickr30K文本到图像检索任务中，我们优于CLIP，但使用的GPU天数减少了约600倍，图像-文本对减少了约80倍。此外，我们展示了我们的方法如何应用于将预训练的文本到图像生成模型转换为音频到图像生成模型。

🔬 方法详解

问题定义：现有的多模态融合方法，特别是那些旨在学习共享潜在空间的模型，通常需要大量的配对多模态数据和巨大的计算资源。这使得它们在数据稀缺或计算资源有限的实际应用中变得不可行。因此，如何降低多模态融合的训练成本和数据依赖性是一个关键问题。

核心思路：FuseMix的核心思路是利用预训练的单模态编码器作为多模态融合的起点。通过在这些预训练编码器的潜在空间中进行数据增强，FuseMix能够有效地将单模态知识迁移到多模态模型中，从而减少对大量配对多模态数据的需求。这种方法类似于迁移学习，但侧重于在潜在空间层面进行融合。

技术框架：FuseMix的整体框架包括以下几个主要步骤：1) 使用预训练的单模态编码器将不同模态的数据映射到各自的潜在空间；2) 在潜在空间中应用FuseMix增强策略，生成新的多模态样本；3) 使用增强后的数据训练多模态融合模型，使其能够学习不同模态之间的关联；4) (可选) 将训练好的多模态模型应用于下游任务，如检索或生成。

关键创新：FuseMix的关键创新在于其多模态增强策略，该策略在潜在空间中混合不同模态的特征表示。这种混合操作能够有效地创造新的多模态样本，从而增加训练数据的多样性，并提高模型的泛化能力。与传统的像素级或特征级融合方法不同，FuseMix直接在潜在空间中进行操作，这使得它能够更好地利用预训练编码器所学习到的高级语义信息。

关键设计：FuseMix增强策略的具体实现方式可以根据不同的应用场景进行调整。一种常见的做法是随机选择两个或多个样本，并将它们的潜在表示进行线性组合。组合的权重可以根据不同的策略进行设置，例如均匀分布或Dirichlet分布。此外，还可以引入一些正则化项，以防止模型过度拟合。损失函数通常采用对比学习损失或三元组损失，以鼓励模型学习到具有区分性的多模态表示。

📊 实验亮点

实验结果表明，FuseMix在Flickr30K文本到图像检索任务中，优于CLIP，但使用的GPU天数减少了约600倍，图像-文本对减少了约80倍。此外，FuseMix还成功地将预训练的文本到图像生成模型转换为音频到图像生成模型，展示了其在跨模态生成任务中的潜力。这些结果表明，FuseMix是一种数据高效且计算友好的多模态融合方法。

🎯 应用场景

FuseMix具有广泛的应用前景，包括跨模态检索、多模态情感分析、音频-视觉场景理解等。该方法能够以较低的成本构建高性能的多模态模型，特别适用于数据稀缺或计算资源有限的场景。未来，FuseMix可以进一步扩展到更多模态的融合，并应用于更复杂的任务中，例如多模态对话系统和多模态机器人。

📄 摘要（原文）

The goal of multimodal alignment is to learn a single latent space that is shared between multimodal inputs. The most powerful models in this space have been trained using massive datasets of paired inputs and large-scale computational resources, making them prohibitively expensive to train in many practical scenarios. We surmise that existing unimodal encoders pre-trained on large amounts of unimodal data should provide an effective bootstrap to create multimodal models from unimodal ones at much lower costs. We therefore propose FuseMix, a multimodal augmentation scheme that operates on the latent spaces of arbitrary pre-trained unimodal encoders. Using FuseMix for multimodal alignment, we achieve competitive performance -- and in certain cases outperform state-of-the art methods -- in both image-text and audio-text retrieval, with orders of magnitude less compute and data: for example, we outperform CLIP on the Flickr30K text-to-image retrieval task with $\sim ! 600\times$ fewer GPU days and $\sim ! 80\times$ fewer image-text pairs. Additionally, we show how our method can be applied to convert pre-trained text-to-image generative models into audio-to-image ones. Code is available at: https://github.com/layer6ai-labs/fusemix.