ODTFormer: Efficient Obstacle Detection and Tracking with Stereo Cameras Based on Transformer

📄 arXiv: 2403.14626v3 📥 PDF

作者: Tianye Ding, Hongyu Li, Huaizu Jiang

分类: cs.RO, cs.CV

发布日期: 2024-03-21 (更新: 2024-10-24)

备注: 8 pages. Accepted by IROS 2024

💡 一句话要点

提出ODTFormer以解决立体相机下的障碍物检测与跟踪问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 障碍物检测 障碍物跟踪 立体视觉 Transformer 机器人导航 计算机视觉 深度学习

📋 核心要点

  1. 现有的障碍物检测与跟踪方法在计算效率和准确性上存在不足，难以满足实时导航的需求。
  2. ODTFormer通过引入可变形注意力机制，构建3D代价体并逐步解码，提供了一种高效的障碍物检测与跟踪解决方案。
  3. 在DrivingStereo和KITTI基准测试中，ODTFormer在障碍物检测任务上表现出色，且计算成本显著低于现有模型。

📝 摘要（中文）

障碍物检测与跟踪是机器人自主导航中的关键组成部分。本文提出ODTFormer，一个基于Transformer的模型，旨在解决障碍物检测与跟踪问题。在检测任务中，我们的方法利用可变形注意力构建3D代价体，并以体素占用网格的形式逐步解码。我们通过匹配连续帧之间的体素来跟踪障碍物。整个模型可以以端到端的方式进行优化。通过在DrivingStereo和KITTI基准上的广泛实验，我们的模型在障碍物检测任务中达到了最先进的性能。同时，我们报告了与最先进的障碍物跟踪模型相当的准确性，但计算成本仅为其十分之一到二十分之一。代码和模型权重将公开发布。

🔬 方法详解

问题定义：本文旨在解决机器人自主导航中的障碍物检测与跟踪问题。现有方法在计算效率和实时性方面存在不足，难以满足实际应用需求。

核心思路：ODTFormer采用Transformer架构，利用可变形注意力机制构建3D代价体，逐步解码为体素占用网格，从而实现高效的障碍物检测与跟踪。

技术框架：模型整体架构包括三个主要模块：1) 3D代价体构建模块，利用可变形注意力进行特征提取；2) 体素占用网格解码模块，逐步生成障碍物检测结果；3) 体素匹配模块，用于在连续帧之间进行障碍物跟踪。

关键创新：ODTFormer的主要创新在于引入可变形注意力机制，显著提升了3D特征的提取能力，并通过端到端优化提高了整体效率。与现有方法相比，ODTFormer在计算成本上具有明显优势。

关键设计：模型设计中，采用了特定的损失函数以优化体素匹配精度，并在网络结构中引入了多层次特征融合，以增强检测和跟踪的鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ODTFormer在DrivingStereo和KITTI基准测试中表现出色，障碍物检测任务达到了最先进的性能，同时在计算成本上仅为现有模型的十分之一到二十分之一，展示了其在实时应用中的巨大潜力。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、无人机导航及机器人自主移动等。ODTFormer的高效障碍物检测与跟踪能力将极大提升这些领域的安全性和可靠性，推动智能交通和机器人技术的发展。

📄 摘要（原文）

Obstacle detection and tracking represent a critical component in robot autonomous navigation. In this paper, we propose ODTFormer, a Transformer-based model to address both obstacle detection and tracking problems. For the detection task, our approach leverages deformable attention to construct a 3D cost volume, which is decoded progressively in the form of voxel occupancy grids. We further track the obstacles by matching the voxels between consecutive frames. The entire model can be optimized in an end-to-end manner. Through extensive experiments on DrivingStereo and KITTI benchmarks, our model achieves state-of-the-art performance in the obstacle detection task. We also report comparable accuracy to state-of-the-art obstacle tracking models while requiring only a fraction of their computation cost, typically ten-fold to twenty-fold less. The code and model weights will be publicly released.