CMRNext: Camera to LiDAR Matching in the Wild for Localization and Extrinsic Calibration

📄 arXiv: 2402.00129v5 📥 PDF

作者: Daniele Cattaneo, Abhinav Valada

分类: cs.CV, cs.RO

发布日期: 2024-01-31 (更新: 2025-02-14)

备注: Accepted to IEEE Transactions on Robotics (T-RO), 2025

💡 一句话要点

提出CMRNext以解决相机与LiDAR匹配问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 相机-LiDAR匹配 单目定位 外部标定 深度学习 光流估计 机器人导航 自动驾驶

📋 核心要点

  1. 现有方法在新传感器设置和环境中难以泛化，通常需要重新训练或微调，限制了其应用。
  2. CMRNext通过将点-像素匹配问题转化为光流估计问题，提出了一种独立于传感器参数的匹配方法。
  3. 实验结果显示，CMRNext在六种不同平台上均优于现有方法，能够在未见环境中实现零-shot泛化。

📝 摘要（中文）

LiDAR广泛用于动态环境中的映射和定位，但其高成本限制了普及。单目相机在LiDAR地图中的定位是一种经济有效的替代方案。然而，现有方法在新传感器设置和环境中难以泛化，需重新训练或微调。本文提出CMRNext，一种独立于传感器特定参数的相机-LiDAR匹配新方法，能够在实际环境中进行单目定位和相机-LiDAR外部标定。CMRNext利用深度神经网络的最新进展和标准几何技术进行稳健的姿态估计。我们将点-像素匹配问题重新表述为光流估计问题，并基于结果对应关系解决透视-n-点问题，以找到相机与LiDAR点云之间的相对姿态。实验表明，CMRNext在六种不同的机器人平台上表现优异，能够在零-shot情况下有效泛化到未见过的环境和传感器设置。

🔬 方法详解

问题定义：本文旨在解决相机与LiDAR之间的匹配问题，现有方法在新环境和传感器设置下泛化能力不足，需重新训练或微调，影响了实际应用。

核心思路：CMRNext的核心思路是将点-像素匹配问题重新表述为光流估计问题，通过深度学习和几何技术的结合，实现对相机与LiDAR的稳健匹配与姿态估计。

技术框架：CMRNext的整体架构包括数据预处理、特征提取、光流估计和姿态计算四个主要模块。首先，输入的相机图像和LiDAR点云进行特征提取，然后通过光流估计获得点与像素之间的对应关系，最后计算相对姿态。

关键创新：CMRNext的创新点在于其独立于传感器特定参数的设计，使得该方法能够在不同的传感器和环境中实现有效的匹配和定位，这是与现有方法的本质区别。

关键设计：在关键设计方面，CMRNext采用了特定的损失函数来优化光流估计的准确性，并使用了深度卷积网络结构来提取特征，确保了在不同环境下的稳健性。具体的参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CMRNext在六种不同的机器人平台上进行了广泛评估，实验结果表明其在相机-LiDAR匹配和外部标定任务上均优于现有方法，尤其是在未见环境中实现了零-shot泛化，展现出显著的性能提升。

🎯 应用场景

CMRNext的研究成果在自动驾驶、机器人导航和增强现实等领域具有广泛的应用潜力。通过降低对高成本LiDAR的依赖，该方法能够促进低成本传感器在复杂环境中的部署，推动相关技术的普及与发展。

📄 摘要（原文）

LiDARs are widely used for mapping and localization in dynamic environments. However, their high cost limits their widespread adoption. On the other hand, monocular localization in LiDAR maps using inexpensive cameras is a cost-effective alternative for large-scale deployment. Nevertheless, most existing approaches struggle to generalize to new sensor setups and environments, requiring retraining or fine-tuning. In this paper, we present CMRNext, a novel approach for camera-LIDAR matching that is independent of sensor-specific parameters, generalizable, and can be used in the wild for monocular localization in LiDAR maps and camera-LiDAR extrinsic calibration. CMRNext exploits recent advances in deep neural networks for matching cross-modal data and standard geometric techniques for robust pose estimation. We reformulate the point-pixel matching problem as an optical flow estimation problem and solve the Perspective-n-Point problem based on the resulting correspondences to find the relative pose between the camera and the LiDAR point cloud. We extensively evaluate CMRNext on six different robotic platforms, including three publicly available datasets and three in-house robots. Our experimental evaluations demonstrate that CMRNext outperforms existing approaches on both tasks and effectively generalizes to previously unseen environments and sensor setups in a zero-shot manner. We make the code and pre-trained models publicly available at http://cmrnext.cs.uni-freiburg.de .