Introducing Routing Functions to Vision-Language Parameter-Efficient Fine-Tuning with Low-Rank Bottlenecks

📄 arXiv: 2403.09377v2 📥 PDF

作者: Tingyu Qu, Tinne Tuytelaars, Marie-Francine Moens

分类: cs.CV

发布日期: 2024-03-14 (更新: 2024-07-12)

备注: Accepted at ECCV 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出路由函数以增强视觉-语言参数高效微调

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言 参数高效微调 路由函数 多模态学习 模型适应性 性能提升

📋 核心要点

  1. 现有的参数高效微调方法在多模态任务中难以有效学习不同模态之间的关系，导致性能提升有限。
  2. 本文提出路由函数，通过线性操作增强视觉-语言对齐，且不增加新的可训练参数，提升了模型的适应能力。
  3. 实验结果显示，路由函数在VQAv2和COCO Captioning任务中分别提升了超过20%和30%的性能，验证了其有效性。

📝 摘要（中文）

主流的参数高效微调（PEFT）方法，如LoRA或Adapter，通过将模型的隐藏状态投影到较低维度，允许预训练模型通过低秩瓶颈适应新数据。然而，涉及多模态的PEFT任务，如视觉-语言（VL）任务，不仅需要适应新数据，还需学习不同模态之间的关系。针对VL PEFT任务，本文提出了一系列称为路由函数的操作，以增强低秩瓶颈中的VL对齐。这些特征路由函数采用线性操作，并不引入新的可训练参数。通过深入分析其行为，实验结果表明，在多种VL PEFT设置中，路由函数显著提升了原PEFT方法的性能，在VQAv2上提升超过20%，在COCO Captioning上提升30%。

🔬 方法详解

问题定义：本文旨在解决现有参数高效微调方法在视觉-语言任务中无法有效学习模态间关系的问题，导致模型性能提升不足。

核心思路：提出路由函数，通过线性操作增强低秩瓶颈中的视觉-语言对齐能力，避免引入新的可训练参数，从而提高模型的适应性和性能。

技术框架：整体架构包括预训练模型的低秩投影、路由函数的应用以及多模态数据的输入处理，形成一个高效的微调流程。

关键创新：路由函数作为一种新型操作，显著改善了多模态任务中的对齐效果，与传统PEFT方法相比，能够在不增加参数的情况下提升性能。

关键设计：在设计中，路由函数采用线性操作，确保计算效率，同时通过实验验证其在不同VL PEFT任务中的有效性和稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，路由函数在VQAv2任务中提升了超过20%的性能，在COCO Captioning任务中提升了30%。这些结果表明，路由函数在多模态任务中的有效性，能够显著改善现有PEFT方法的表现。

🎯 应用场景

该研究的潜在应用场景包括多模态学习、智能问答系统、图像描述生成等领域。通过提升视觉-语言任务的性能，能够推动相关技术在实际应用中的落地，提升用户体验和系统智能化水平。

📄 摘要（原文）

Mainstream parameter-efficient fine-tuning (PEFT) methods, such as LoRA or Adapter, project a model's hidden states to a lower dimension, allowing pre-trained models to adapt to new data through this low-rank bottleneck. However, PEFT tasks involving multiple modalities, like vision-language (VL) tasks, require not only adaptation to new data but also learning the relationship between different modalities. Targeting at VL PEFT tasks, we propose a family of operations, called routing functions, to enhance VL alignment in the low-rank bottlenecks. These feature routing functions adopt linear operations and do not introduce new trainable parameters. In-depth analyses are conducted to study their behavior. In various VL PEFT settings, the routing functions significantly improve performance of the original PEFT methods, achieving over 20\% improvement on VQAv2 ($\text{RoBERTa}_{\text{large}}$+ViT-L/16) and 30\% on COCO Captioning (GPT2-medium+ViT-L/16). Also when fine-tuning a pre-trained multimodal model such as CLIP-BART, we observe smaller but consistent improvements across a range of VL PEFT tasks. Our code is available at https://github.com/tingyu215/Routing_VLPEFT.