MADTP: Multimodal Alignment-Guided Dynamic Token Pruning for Accelerating Vision-Language Transformer

📄 arXiv: 2403.02991v1 📥 PDF

作者: Jianjian Cao, Peng Ye, Shengze Li, Chong Yu, Yansong Tang, Jiwen Lu, Tao Chen

分类: cs.CV

发布日期: 2024-03-05

备注: 19 pages, 9 figures, Published in CVPR2024

期刊: In Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2024

💡 一句话要点

提出MADTP以解决视觉语言Transformer的动态令牌修剪问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言Transformer 动态令牌修剪 多模态对齐 计算复杂度 深度学习 模型压缩 自然语言处理 计算机视觉

📋 核心要点

  1. 现有的视觉语言Transformer在计算成本上面临挑战，尤其是大量的视觉和语言令牌导致的高计算复杂度。
  2. 提出的MADTP框架通过多模态对齐引导和动态令牌修剪，确保修剪过程考虑到不同模态的对齐信息，从而提高修剪的准确性和灵活性。
  3. 实验结果表明，MADTP在多个基准测试中显著降低了计算复杂度，同时在性能上保持了竞争力，尤其在BLIP模型上表现突出。

📝 摘要（中文）

视觉语言Transformer（VLTs）在最近取得了显著成功，但其计算成本较高，主要源于大量的视觉和语言令牌。现有的令牌修剪研究多基于单一模态方案，忽视了不同模态对齐在令牌修剪过程中的重要性，导致某一模态的重要令牌在另一模态中被错误修剪。此外，现有的VLT修剪方法缺乏根据不同输入样本动态压缩每一层的灵活性。为此，本文提出了一种新颖的框架——多模态对齐引导动态令牌修剪（MADTP），通过引入多模态对齐引导模块（MAG）和动态令牌修剪模块（DTP），显著降低了多模态模型的计算复杂度，同时保持了竞争力的性能。在NLVR2数据集上应用于BLIP模型时，MADTP可将GFLOPs减少80%，性能下降不足4%。

🔬 方法详解

问题定义：本文旨在解决视觉语言Transformer中由于大量视觉和语言令牌导致的高计算成本问题。现有方法多基于单一模态，忽视了模态间对齐的重要性，导致重要令牌被错误修剪。

核心思路：MADTP框架通过引入多模态对齐引导模块（MAG）来对齐不同模态的特征，确保修剪的令牌对所有模态的重要性较低。同时，动态令牌修剪模块（DTP）根据输入实例动态调整每层的令牌压缩比例，增强了灵活性。

技术框架：MADTP整体架构包括两个主要模块：多模态对齐引导模块（MAG）用于对齐不同模态的特征，动态令牌修剪模块（DTP）用于根据输入样本动态调整令牌压缩比例。整个流程首先通过MAG对特征进行对齐，然后通过DTP进行动态修剪。

关键创新：MADTP的主要创新在于结合了多模态对齐与动态令牌修剪的思想，确保修剪过程考虑到不同模态间的对齐信息，从而提高了修剪的准确性和效率。这与现有单一模态修剪方法有本质区别。

关键设计：在设计中，MAG模块通过引入对齐损失函数来优化特征对齐效果，而DTP模块则根据输入实例的特征动态调整压缩比例，确保在不同输入下的灵活性和适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个基准测试中，MADTP显著降低了多模态模型的计算复杂度，尤其在NLVR2数据集上应用于BLIP模型时，GFLOPs减少了80%，而性能仅下降不到4%。这一结果展示了MADTP在保持性能的同时，极大提升了计算效率。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉与自然语言处理的结合场景，如图像描述生成、视觉问答等。通过降低计算复杂度，MADTP可以使得这些任务在资源受限的环境中更为高效，具有重要的实际价值和未来影响。

📄 摘要（原文）

Vision-Language Transformers (VLTs) have shown great success recently, but are meanwhile accompanied by heavy computation costs, where a major reason can be attributed to the large number of visual and language tokens. Existing token pruning research for compressing VLTs mainly follows a single-modality-based scheme yet ignores the critical role of aligning different modalities for guiding the token pruning process, causing the important tokens for one modality to be falsely pruned in another modality branch. Meanwhile, existing VLT pruning works also lack the flexibility to dynamically compress each layer based on different input samples. To this end, we propose a novel framework named Multimodal Alignment-Guided Dynamic Token Pruning (MADTP) for accelerating various VLTs. Specifically, we first introduce a well-designed Multi-modality Alignment Guidance (MAG) module that can align features of the same semantic concept from different modalities, to ensure the pruned tokens are less important for all modalities. We further design a novel Dynamic Token Pruning (DTP) module, which can adaptively adjust the token compression ratio in each layer based on different input instances. Extensive experiments on various benchmarks demonstrate that MADTP significantly reduces the computational complexity of kinds of multimodal models while preserving competitive performance. Notably, when applied to the BLIP model in the NLVR2 dataset, MADTP can reduce the GFLOPs by 80% with less than 4% performance degradation.