Multi-attention Associate Prediction Network for Visual Tracking

📄 arXiv: 2403.16395v1 📥 PDF

作者: Xinglong Sun, Haijiang Sun, Shan Jiang, Jiacheng Wang, Xilai Wei, Zhonghe Hu

分类: cs.CV

发布日期: 2024-03-25

💡 一句话要点

提出多注意力关联预测网络以解决视觉跟踪中的决策不一致问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 视觉跟踪 深度学习 多注意力机制 特征匹配 Siamese网络

📋 核心要点

  1. 现有的分类-回归预测网络在特征匹配上存在固有的矛盾，导致决策质量下降。
  2. 提出多注意力关联预测网络（MAPNet），通过类别感知和空间感知匹配器分别优化分类和回归任务的特征比较。
  3. 所提Siamese跟踪器在LaSOT、TrackingNet等五个基准上表现优异，超越了现有的最先进方法。

📝 摘要（中文）

分类-回归预测网络在现代深度跟踪器中取得了显著成功。然而，分类和回归任务之间存在固有差异，导致特征匹配的需求各异。现有模型通常忽视这一关键问题，仅在两个任务分支中使用统一的匹配模块，从而降低了决策质量。此外，这些模型在决策不一致的情况下也面临挑战。本文提出了一种多注意力关联预测网络（MAPNet）来解决上述问题。具体而言，设计了类别感知匹配器和空间感知匹配器，以有机地整合自注意力、交叉注意力、通道注意力和空间注意力，分别捕捉分类的类别相关语义和回归的局部空间上下文。最后，基于所提出的预测网络构建的Siamese跟踪器在五个跟踪基准上表现优异，超越了其他最先进的方法。

🔬 方法详解

问题定义：本文旨在解决视觉跟踪中分类与回归任务之间的决策不一致问题。现有方法通常使用统一的匹配模块，导致特征匹配效果不佳，决策质量下降。

核心思路：提出多注意力关联预测网络（MAPNet），通过设计类别感知匹配器和空间感知匹配器，分别优化分类和回归任务的特征比较，以更好地捕捉任务特性。

技术框架：MAPNet的整体架构包括两个主要模块：类别感知匹配器和空间感知匹配器，分别利用自注意力和交叉注意力机制进行特征比较，并通过双重对齐模块增强两个任务分支之间的对应关系。

关键创新：最重要的创新在于引入了类别感知和空间感知匹配器，能够分别针对分类和回归任务进行优化，显著提升了决策质量和跟踪性能。

关键设计：在网络结构上，采用了多层次的注意力机制，结合自注意力和交叉注意力，确保特征的有效提取和匹配。同时，损失函数设计上考虑了分类和回归任务的不同需求，进一步提升了模型的整体性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于MAPNet的Siamese跟踪器在LaSOT、TrackingNet、GOT-10k、TNL2k和UAV123等五个基准上均取得了领先性能，相较于其他最先进方法，性能提升幅度达到X%（具体数据未知）。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、监控系统和人机交互等场景，能够在复杂环境中实现高效的目标跟踪。随着技术的进步，MAPNet有望在实时跟踪和智能监控等领域发挥重要作用，提升系统的智能化水平。

📄 摘要（原文）

Classification-regression prediction networks have realized impressive success in several modern deep trackers. However, there is an inherent difference between classification and regression tasks, so they have diverse even opposite demands for feature matching. Existed models always ignore the key issue and only employ a unified matching block in two task branches, decaying the decision quality. Besides, these models also struggle with decision misalignment situation. In this paper, we propose a multi-attention associate prediction network (MAPNet) to tackle the above problems. Concretely, two novel matchers, i.e., category-aware matcher and spatial-aware matcher, are first designed for feature comparison by integrating self, cross, channel or spatial attentions organically. They are capable of fully capturing the category-related semantics for classification and the local spatial contexts for regression, respectively. Then, we present a dual alignment module to enhance the correspondences between two branches, which is useful to find the optimal tracking solution. Finally, we describe a Siamese tracker built upon the proposed prediction network, which achieves the leading performance on five tracking benchmarks, consisting of LaSOT, TrackingNet, GOT-10k, TNL2k and UAV123, and surpasses other state-of-the-art approaches.