EasyTrack: Efficient and Compact One-stream 3D Point Clouds Tracker

📄 arXiv: 2404.05960v2 📥 PDF

作者: Baojie Fan, Wuyang Zhou, Kai Wang, Shijun Zhou, Fengyu Xu, Jiandong Tian

分类: cs.CV

发布日期: 2024-04-09 (更新: 2024-04-12)

🔗 代码/项目: GITHUB

💡 一句话要点

提出EasyTrack以解决3D点云单目标跟踪效率低的问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱八：物理动画 (Physics-based Animation)

关键词: 3D点云跟踪 单目标跟踪 Transformer 自注意力机制 自动驾驶 机器人导航 深度学习

📋 核心要点

  1. 现有的3D单目标跟踪方法多采用双流结构，导致计算效率低且对背景噪声敏感。
  2. 本文提出EasyTrack，通过单流Transformer架构，结合特征预训练和自注意力机制，提升了跟踪性能和效率。
  3. 实验结果显示，EasyTrack在多个数据集上取得了显著的性能提升，成功率分别提高18%、40%和3%。

📝 摘要（中文）

大多数3D单目标跟踪器采用双流多阶段的3D Siamese或运动跟踪范式，通过两个并行分支处理模板和搜索区域的点云。本文提出了一种简洁紧凑的一流Transformer 3D单目标跟踪范式EasyTrack，包含三个特殊设计：1) 开发了3D点云跟踪特征预训练模块，利用掩码自编码学习3D点云跟踪表示；2) 提出了统一的3D跟踪特征学习与融合网络，同时学习目标感知的3D特征，并通过灵活的自注意力机制捕捉相互关联；3) 在稠密鸟瞰视图特征空间构建目标位置网络用于目标分类和回归。此外，增强版EasyTrack++设计了中心点交互策略以减少噪声点云背景信息造成的模糊目标。EasyTrack和EasyTrack++在KITTI、NuScenes和Waymo上设定了新的最优性能，成功率提升18%、40%和3%，并以52.6fps的速度运行，参数仅为1.3M。

🔬 方法详解

问题定义：本文旨在解决现有3D单目标跟踪方法在效率和背景噪声处理上的不足，尤其是双流结构带来的计算复杂性和模糊目标问题。

核心思路：提出了一种单流Transformer架构的EasyTrack，通过特征预训练和自注意力机制，简化了跟踪过程并提高了目标识别的准确性。

技术框架：EasyTrack的整体架构包括三个主要模块：3D点云跟踪特征预训练模块、统一的3D跟踪特征学习与融合网络，以及目标位置网络。这些模块协同工作，实现高效的特征提取和目标定位。

关键创新：最重要的创新点在于采用单流Transformer架构，取代传统的双流结构，显著降低了计算复杂度，并通过自注意力机制增强了特征的互相关联性。

关键设计：在设计中，采用了掩码自编码的预训练策略，灵活的自注意力机制，以及在稠密鸟瞰视图特征空间中构建的目标位置网络，确保了高效的特征学习和准确的目标定位。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，EasyTrack和EasyTrack++在KITTI、NuScenes和Waymo数据集上分别实现了18%、40%和3%的成功率提升，同时以52.6fps的速度运行，参数量仅为1.3M，展现了优越的性能和效率。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和增强现实等场景。通过提高3D点云单目标跟踪的效率和准确性，EasyTrack能够为实时系统提供更可靠的支持，推动相关技术的实际应用和发展。

📄 摘要（原文）

Most of 3D single object trackers (SOT) in point clouds follow the two-stream multi-stage 3D Siamese or motion tracking paradigms, which process the template and search area point clouds with two parallel branches, built on supervised point cloud backbones. In this work, beyond typical 3D Siamese or motion tracking, we propose a neat and compact one-stream transformer 3D SOT paradigm from the novel perspective, termed as \textbf{EasyTrack}, which consists of three special designs: 1) A 3D point clouds tracking feature pre-training module is developed to exploit the masked autoencoding for learning 3D point clouds tracking representations. 2) A unified 3D tracking feature learning and fusion network is proposed to simultaneously learns target-aware 3D features, and extensively captures mutual correlation through the flexible self-attention mechanism. 3) A target location network in the dense bird's eye view (BEV) feature space is constructed for target classification and regression. Moreover, we develop an enhanced version named EasyTrack++, which designs the center points interaction (CPI) strategy to reduce the ambiguous targets caused by the noise point cloud background information. The proposed EasyTrack and EasyTrack++ set a new state-of-the-art performance ($\textbf{18\%}$, $\textbf{40\%}$ and $\textbf{3\%}$ success gains) in KITTI, NuScenes, and Waymo while runing at \textbf{52.6fps} with few parameters (\textbf{1.3M}). The code will be available at https://github.com/KnightApple427/Easytrack.