Tracking Meets LoRA: Faster Training, Larger Model, Stronger Performance

📄 arXiv: 2403.05231v2 📥 PDF

作者: Liting Lin, Heng Fan, Zhipeng Zhang, Yaowei Wang, Yong Xu, Haibin Ling

分类: cs.CV

发布日期: 2024-03-08 (更新: 2024-07-26)

备注: Accepted by ECCV 2024. All experiment results are updated

🔗 代码/项目: GITHUB

💡 一句话要点

提出LoRAT以解决视觉跟踪中的参数高效微调问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉跟踪 参数高效微调 深度学习 Transformer 计算机视觉 模型压缩 实时处理

📋 核心要点

  1. 现有视觉跟踪方法在参数高效微调方面存在挑战，特别是在位置嵌入和卷积头的设计上。
  2. 论文提出通过解耦位置嵌入和设计基于MLP的无锚头来克服这些挑战，从而提高跟踪性能。
  3. 实验结果显示，L-224变体的训练时间从35.0小时缩短至10.8小时，LaSOT SUC分数从0.703提升至0.742，推理速度从52 FPS提升至119 FPS。

📝 摘要（中文）

本研究受到大语言模型中参数高效微调（PEFT）的启发，提出了一种名为LoRAT的方法，旨在利用大型ViT模型在实验室级别资源下进行视觉跟踪。我们将LoRA技术应用于视觉跟踪领域，尽管面临独特挑战，如位置嵌入的不一致性和卷积头的归纳偏置。为此，我们将位置嵌入解耦为共享空间嵌入和独立类型嵌入，并设计了基于MLP的无锚头，显著提高了性能并减少了计算开销。通过这些设计，我们实现了在仅有25.8GB内存的GPU上训练跟踪器的可行性，并显著缩短了训练时间和提升了推理速度。

🔬 方法详解

问题定义：本论文旨在解决视觉跟踪中参数高效微调的挑战，尤其是在位置嵌入和卷积头设计带来的性能限制。现有方法在迁移LoRA技术时，面临设计一致性和归纳偏置的问题。

核心思路：我们提出的LoRAT方法通过解耦位置嵌入为共享空间嵌入和独立类型嵌入，来提高模型在视觉跟踪任务中的表现。同时，设计基于MLP的无锚头以减少计算开销。

技术框架：整体架构包括两个主要模块：1) 位置嵌入的解耦，确保共享嵌入从预训练骨干网络继承，而独立嵌入从头开始学习；2) 基于MLP的无锚头设计，优化了模型的推理效率。

关键创新：本研究的核心创新在于将LoRA技术有效应用于视觉跟踪领域，通过解耦位置嵌入和设计无锚头，显著提升了模型的训练效率和推理速度。

关键设计：在参数设置上，我们使用了共享的空间嵌入来表示多分辨率图像的绝对坐标，而独立的类型嵌入则用于标识每个token的来源。此外，MLP结构的无锚头设计降低了计算复杂度，提升了整体性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用L-224变体时，训练时间从35.0小时缩短至10.8小时，LaSOT SUC分数从0.703提升至0.742，推理速度从52 FPS提升至119 FPS，展现了显著的性能提升和效率优化。

🎯 应用场景

该研究的潜在应用领域包括实时视频监控、自动驾驶、无人机视觉导航等场景，能够在资源受限的环境下实现高效的视觉跟踪。未来，该方法有望推动更多基于视觉的智能系统的发展，提升其在复杂场景下的适应能力和性能。

📄 摘要（原文）

Motivated by the Parameter-Efficient Fine-Tuning (PEFT) in large language models, we propose LoRAT, a method that unveils the power of large ViT model for tracking within laboratory-level resources. The essence of our work lies in adapting LoRA, a technique that fine-tunes a small subset of model parameters without adding inference latency, to the domain of visual tracking. However, unique challenges and potential domain gaps make this transfer not as easy as the first intuition. Firstly, a transformer-based tracker constructs unshared position embedding for template and search image. This poses a challenge for the transfer of LoRA, usually requiring consistency in the design when applied to the pre-trained backbone, to downstream tasks. Secondly, the inductive bias inherent in convolutional heads diminishes the effectiveness of parameter-efficient fine-tuning in tracking models. To overcome these limitations, we first decouple the position embeddings in transformer-based trackers into shared spatial ones and independent type ones. The shared embeddings, which describe the absolute coordinates of multi-resolution images (namely, the template and search images), are inherited from the pre-trained backbones. In contrast, the independent embeddings indicate the sources of each token and are learned from scratch. Furthermore, we design an anchor-free head solely based on MLP to adapt PETR, enabling better performance with less computational overhead. With our design, 1) it becomes practical to train trackers with the ViT-g backbone on GPUs with only memory of 25.8GB (batch size of 16); 2) we reduce the training time of the L-224 variant from 35.0 to 10.8 GPU hours; 3) we improve the LaSOT SUC score from 0.703 to 0.742 with the L-224 variant; 4) we fast the inference speed of the L-224 variant from 52 to 119 FPS. Code and models are available at https://github.com/LitingLin/LoRAT.