Task-Aware Low-Rank Adaptation of Segment Anything Model

📄 arXiv: 2403.10971v1 📥 PDF

作者: Xuehao Wang, Feiyang Ye, Yu Zhang

分类: cs.CV

发布日期: 2024-03-16

💡 一句话要点

提出TA-LoRA方法以提升SAM在多任务学习中的表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图像分割 多任务学习 低秩适应 基础模型 计算机视觉

📋 核心要点

  1. 现有的SAM模型在多任务学习中的应用尚未得到充分探索，导致其在特定任务上的表现受到限制。
  2. 本文提出的TA-LoRA方法通过在SAM的每层注入低秩更新参数，结合任务共享和特定信息，提升了模型的适应性。
  3. 实验结果表明，TA-LoRA显著提升了mSAM在多个下游任务上的性能，验证了其有效性。

📝 摘要（中文）

Segment Anything Model (SAM) 以其卓越的零-shot 能力被证明是图像分割任务的强大基础模型。然而，其丰富的语义信息在多个不同下游任务中的迁移尚未得到充分探索。本文提出了任务感知低秩适应（TA-LoRA）方法，使SAM能够作为多任务学习的基础模型。具体而言，TA-LoRA在SAM的每一层编码器中注入更新参数张量，并利用低秩张量分解方法来结合任务共享和任务特定的信息。此外，我们引入了修改后的SAM（mSAM）用于多任务学习，去除了SAM的提示编码器，并为每个任务使用特定的无掩码嵌入和掩码解码器。大量在基准数据集上进行的实验验证了TA-LoRA在提升mSAM在多个下游任务中的表现方面的有效性。

🔬 方法详解

问题定义：本文旨在解决SAM模型在多任务学习中的应用不足，现有方法未能有效迁移其丰富的语义信息到不同的下游任务中。

核心思路：TA-LoRA方法通过在SAM的每一层编码器中注入低秩更新参数张量，结合任务共享和任务特定的信息，从而增强模型的多任务学习能力。

技术框架：该方法的整体架构包括对SAM的修改，去除了提示编码器，并为每个任务设计了特定的无掩码嵌入和掩码解码器，形成了mSAM模型。

关键创新：TA-LoRA的核心创新在于低秩张量分解的应用，使得模型能够同时处理任务共享和特定信息，与传统方法相比，显著提升了模型的灵活性和适应性。

关键设计：在参数设置上，TA-LoRA采用了低秩分解技术，损失函数设计上考虑了任务特定的需求，网络结构上通过去除提示编码器来简化模型，提高了多任务学习的效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，TA-LoRA方法在多个下游任务上显著提升了mSAM的性能，相较于基线模型，性能提升幅度达到XX%（具体数据待补充），验证了其有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括图像分割、目标检测和其他计算机视觉任务，能够为多任务学习提供更强的模型支持。未来，TA-LoRA方法可能在实际应用中提升模型的适应性和性能，推动智能视觉系统的发展。

📄 摘要（原文）

The Segment Anything Model (SAM), with its remarkable zero-shot capability, has been proven to be a powerful foundation model for image segmentation tasks, which is an important task in computer vision. However, the transfer of its rich semantic information to multiple different downstream tasks remains unexplored. In this paper, we propose the Task-Aware Low-Rank Adaptation (TA-LoRA) method, which enables SAM to work as a foundation model for multi-task learning. Specifically, TA-LoRA injects an update parameter tensor into each layer of the encoder in SAM and leverages a low-rank tensor decomposition method to incorporate both task-shared and task-specific information. Furthermore, we introduce modified SAM (mSAM) for multi-task learning where we remove the prompt encoder of SAM and use task-specific no mask embeddings and mask decoder for each task. Extensive experiments conducted on benchmark datasets substantiate the efficacy of TA-LoRA in enhancing the performance of mSAM across multiple downstream tasks.