Multimodal Transformer With a Low-Computational-Cost Guarantee

📄 arXiv: 2402.15096v1 📥 PDF

作者: Sungjin Park, Edward Choi

分类: cs.LG, cs.CV, cs.MM

发布日期: 2024-02-23

备注: Accepted to ICASSP 2024 (5 pages)

💡 一句话要点

提出低计算成本的多模态Transformer以解决计算复杂性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态Transformer 低计算成本 注意力机制 视觉问答 动作识别 计算复杂度 模型优化

📋 核心要点

  1. 现有的多模态Transformer在处理输入序列时，面临着计算复杂度随模态数量增加而显著上升的问题。
  2. 论文提出的LoCoMT通过为每个注意力头分配不同的多模态注意力模式，有效降低了计算成本，同时保持了模型性能。
  3. 实验结果显示，LoCoMT在Audioset和MedVidCL数据集上减少了GFLOPs，并在性能上与现有模型持平或更优。

📝 摘要（中文）

基于Transformer的模型在多模态理解任务中表现出色，如视觉问答和动作识别。然而，随着模态数量的增加，多模态Transformer在多头注意力机制中面临输入序列长度导致的二次复杂性问题。为此，本文提出了低成本多模态Transformer（LoCoMT），一种新颖的多模态注意力机制，旨在在训练和推理过程中以最小的性能损失降低计算成本。通过为每个注意力头分配不同的多模态注意力模式，LoCoMT能够灵活控制多模态信号，并理论上确保与现有多模态Transformer变体相比降低计算成本。在Audioset和MedVidCL两个多模态数据集上的实验结果表明，LoCoMT不仅减少了GFLOPs，还在性能上与已有模型相匹配甚至超越。

🔬 方法详解

问题定义：本文旨在解决多模态Transformer在处理长输入序列时计算复杂度过高的问题，尤其是在模态数量增加时，现有方法的计算成本呈现二次增长，导致效率低下。

核心思路：LoCoMT的核心思想是通过为每个注意力头分配不同的多模态注意力模式，灵活控制多模态信号，从而在保持性能的同时降低计算成本。这样的设计使得模型能够更高效地处理多模态信息。

技术框架：LoCoMT的整体架构包括多个注意力头，每个头采用不同的多模态注意力模式。模型在训练和推理阶段均能有效控制计算资源，确保计算效率。

关键创新：LoCoMT的最大创新在于其多模态注意力机制的设计，通过不同的注意力模式来优化计算过程，与传统的多模态Transformer相比，显著降低了计算复杂度。

关键设计：在模型设计中，LoCoMT采用了特定的参数设置和损失函数，以确保在降低计算成本的同时，模型的性能不会受到显著影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LoCoMT在Audioset和MedVidCL数据集上显著减少了GFLOPs，同时在性能上与现有模型持平或超越，展示了其在多模态任务中的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括视觉问答、动作识别以及其他需要处理多模态数据的任务。通过降低计算成本，LoCoMT能够在资源受限的环境中实现高效的多模态理解，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Transformer-based models have significantly improved performance across a range of multimodal understanding tasks, such as visual question answering and action recognition. However, multimodal Transformers significantly suffer from a quadratic complexity of the multi-head attention with the input sequence length, especially as the number of modalities increases. To address this, we introduce Low-Cost Multimodal Transformer (LoCoMT), a novel multimodal attention mechanism that aims to reduce computational cost during training and inference with minimal performance loss. Specifically, by assigning different multimodal attention patterns to each attention head, LoCoMT can flexibly control multimodal signals and theoretically ensures a reduced computational cost compared to existing multimodal Transformer variants. Experimental results on two multimodal datasets, namely Audioset and MedVidCL demonstrate that LoCoMT not only reduces GFLOPs but also matches or even outperforms established models.