Multimodal Pathway: Improve Transformers with Irrelevant Data from Other Modalities

📄 arXiv: 2401.14405v2 📥 PDF

作者: Yiyuan Zhang, Xiaohan Ding, Kaixiong Gong, Yixiao Ge, Ying Shan, Xiangyu Yue

分类: cs.CV, cs.AI, cs.LG

发布日期: 2024-01-25 (更新: 2024-03-18)

备注: CVPR 2024. Code and models are available at https://github.com/AILab-CVC/M2PT

🔗 代码/项目: GITHUB

💡 一句话要点

提出多模态通路以利用其他模态的无关数据提升变换器性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 变换器 无关数据 序列建模 Cross-Modal Re-parameterization 计算机视觉 音频识别

📋 核心要点

  1. 现有方法在多模态学习中通常依赖于配对或交错的数据，而忽视了无关数据的潜在价值。
  2. 论文提出的多模态通路方法，通过连接不同模态的变换器，利用无关数据提升目标模态的学习效果。
  3. 在图像、点云、视频和音频识别任务中，实验结果显示使用无关数据后性能显著提升，验证了方法的有效性。

📝 摘要（中文）

我们提出了一种方法，通过利用来自其他模态的无关数据来提升特定模态的变换器性能，例如用音频或点云数据集来改进ImageNet模型。与其他利用配对或交错数据的方法不同，我们的方法强调目标模态的数据样本与其他模态无关。我们的方法称为多模态通路，构建了一个辅助变换器，并通过连接两个模型的组件，使得目标模态的数据可以被两个模型处理。通过这种方式，我们利用了来自两个模态的变换器的通用序列到序列建模能力。在图像、点云、视频和音频识别任务中，我们观察到显著且一致的性能提升。代码和模型可在https://github.com/AILab-CVC/M2PT获取。

🔬 方法详解

问题定义：论文要解决的问题是如何有效利用来自其他模态的无关数据来提升特定模态的变换器性能。现有方法通常依赖于配对或交错的数据，限制了无关数据的使用，导致潜在信息的浪费。

核心思路：论文的核心思路是构建一个多模态通路，通过连接目标模态的变换器和辅助模态的变换器，使得目标模态的数据能够同时被两个模型处理，从而利用不同模态的序列到序列建模能力。

技术框架：整体架构包括一个目标模态的变换器和一个辅助模态的变换器，通过Cross-Modal Re-parameterization方法连接两个模型的变换器块。具体实现中，使用模态特定的分词器和任务特定的头部，同时利用辅助模型的变换器块。

关键创新：最重要的技术创新点在于提出了Cross-Modal Re-parameterization方法，能够在不增加推理成本的情况下，利用辅助模型的权重。这一方法与现有的依赖配对数据的方法本质上不同，强调了无关数据的有效利用。

关键设计：在设计中，使用了模态特定的分词器和任务特定的头部，确保了模型的适应性。同时，Cross-Modal Re-parameterization方法的实现细节确保了在推理时不会增加额外的计算负担。具体的损失函数和网络结构设计也经过优化，以适应不同模态的特征。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在图像、点云、视频和音频识别任务中，使用无关数据后，模型的性能显著提升，具体提升幅度达到X%（具体数据未知）。与基线模型相比，实验结果显示出一致的性能改进，验证了多模态通路方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、语音识别和多模态学习等。通过有效利用无关模态的数据，能够在多个任务中提升模型的性能，具有广泛的实际价值。未来，该方法可能推动多模态学习的进一步发展，促进不同模态间的协同效应。

📄 摘要（原文）

We propose to improve transformers of a specific modality with irrelevant data from other modalities, e.g., improve an ImageNet model with audio or point cloud datasets. We would like to highlight that the data samples of the target modality are irrelevant to the other modalities, which distinguishes our method from other works utilizing paired (e.g., CLIP) or interleaved data of different modalities. We propose a methodology named Multimodal Pathway - given a target modality and a transformer designed for it, we use an auxiliary transformer trained with data of another modality and construct pathways to connect components of the two models so that data of the target modality can be processed by both models. In this way, we utilize the universal sequence-to-sequence modeling abilities of transformers obtained from two modalities. As a concrete implementation, we use a modality-specific tokenizer and task-specific head as usual but utilize the transformer blocks of the auxiliary model via a proposed method named Cross-Modal Re-parameterization, which exploits the auxiliary weights without any inference costs. On the image, point cloud, video, and audio recognition tasks, we observe significant and consistent performance improvements with irrelevant data from other modalities. The code and models are available at https://github.com/AILab-CVC/M2PT.