R1-Track: Direct Application of MLLMs to Visual Object Tracking via Reinforcement Learning

📄 arXiv: 2506.21980v3 📥 PDF

作者: Biao Wang, Wenwen Li, Jiawei Ge

分类: cs.CV

发布日期: 2025-06-27 (更新: 2025-07-22)

备注: 7 pages, 2 figures

💡 一句话要点

提出R1-Track以解决视觉目标跟踪中的模板匹配问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉目标跟踪 多模态大语言模型 强化学习 模板匹配 模型微调

📋 核心要点

  1. 现有的视觉目标跟踪方法通常依赖于模板匹配，缺乏灵活性且需要大量标注数据进行训练。
  2. 本文提出R1-Track，通过微调Qwen2.5-VL模型，结合GRPO强化学习方法，解决了模板匹配的不足。
  3. R1-Track在GOT-10k基准测试中表现优异，支持通过边界框或文本描述进行灵活初始化。

📝 摘要（中文）

视觉单目标跟踪旨在根据第一帧中的初始状态，在后续视频帧中持续定位和估计目标的尺度。传统方法通常将其视为模板匹配问题，经历了相关滤波器、双流网络和单流网络等多个阶段，取得了显著进展。然而，这些方法通常需要明确的分类和回归建模，依赖于大规模数据集的监督训练，并且仅限于单一的跟踪任务，缺乏灵活性。近年来，多模态大语言模型（MLLMs）迅速发展，开源模型如Qwen2.5-VL在基础能力上表现出色，激发了将其直接应用于视觉跟踪的兴趣。本文提出的R1-Track模型通过对Qwen2.5-VL进行微调，采用基于规则的奖励函数和群体相对策略优化（GRPO）强化学习方法，在GOT-10k基准测试中取得了显著的性能提升。

🔬 方法详解

问题定义：本文旨在解决视觉目标跟踪中的模板匹配问题，现有方法在灵活性和数据依赖性方面存在不足，限制了其应用场景。

核心思路：提出R1-Track模型，通过微调Qwen2.5-VL，利用强化学习方法来优化跟踪性能，旨在克服传统方法的局限性。

技术框架：R1-Track的整体架构包括数据预处理、模型微调和跟踪阶段。首先，利用小规模数据集进行模型的微调，然后通过强化学习优化跟踪策略，最后在视频帧中进行目标定位和尺度估计。

关键创新：R1-Track的主要创新在于将多模态大语言模型直接应用于视觉跟踪任务，突破了传统方法对模板匹配的依赖，提升了模型的灵活性和适应性。

关键设计：在模型微调过程中，采用了基于规则的奖励函数，并使用群体相对策略优化（GRPO）方法，确保模型在小规模数据集上有效学习跟踪策略。

📊 实验亮点

在GOT-10k基准测试中，R1-Track模型表现出色，相较于传统方法，跟踪精度显著提升，具体性能数据尚未公开，但实验结果表明其在多种跟踪场景中均能保持高效稳定的表现。

🎯 应用场景

R1-Track模型在视频监控、自动驾驶、无人机跟踪等领域具有广泛的应用潜力。其灵活的初始化方式和优秀的跟踪性能，使其能够适应多种复杂场景，提升目标跟踪的准确性和效率。

📄 摘要（原文）

Visual single object tracking aims to continuously localize and estimate the scale of a target in subsequent video frames, given only its initial state in the first frame. This task has traditionally been framed as a template matching problem, evolving through major phases including correlation filters, two-stream networks, and one-stream networks with significant progress achieved. However, these methods typically require explicit classification and regression modeling, depend on supervised training with large-scale datasets, and are limited to the single task of tracking, lacking flexibility. In recent years, multi-modal large language models (MLLMs) have advanced rapidly. Open-source models like Qwen2.5-VL, a flagship MLLMs with strong foundational capabilities, demonstrate excellent performance in grounding tasks. This has spurred interest in applying such models directly to visual tracking. However, experiments reveal that Qwen2.5-VL struggles with template matching between image pairs (i.e., tracking tasks). Inspired by deepseek-R1, we fine-tuned Qwen2.5-VL using the group relative policy optimization (GRPO) reinforcement learning method on a small-scale dataset with a rule-based reward function. The resulting model, R1-Track, achieved notable performance on the GOT-10k benchmark. R1-Track supports flexible initialization via bounding boxes or text descriptions while retaining most of the original model's general capabilities. And we further discuss potential improvements for R1-Track. This rough technical report summarizes our findings as of May 2025.