DVLO: Deep Visual-LiDAR Odometry with Local-to-Global Feature Fusion and Bi-Directional Structure Alignment

📄 arXiv: 2403.18274v3 📥 PDF

作者: Jiuming Liu, Dong Zhuo, Zhiheng Feng, Siting Zhu, Chensheng Peng, Zhe Liu, Hesheng Wang

分类: cs.CV

发布日期: 2024-03-27 (更新: 2024-07-17)

备注: Accepted by ECCV 2024.Codes are released at https://github.com/IRMVLab/DVLO

🔗 代码/项目: GITHUB

💡 一句话要点

提出DVLO以解决视觉与LiDAR数据融合问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 视觉-LiDAR融合 深度学习 特征融合 自动驾驶 机器人导航 多模态学习 结构对齐

📋 核心要点

  1. 现有方法在视觉与LiDAR数据融合中面临数据结构不一致的问题，导致融合效果不佳。
  2. 本文提出的DVLO网络通过局部到全局的特征融合和双向结构对齐，有效解决了模态间的不一致性。
  3. 实验结果表明，DVLO在KITTI和FlyingThings3D数据集上表现优异，超越了现有的单模态和多模态方法。

📝 摘要（中文）

视觉和LiDAR数据中的信息具有良好的互补性，前者提供细致的图像纹理，后者则包含大量几何信息。然而，由于两种模态之间固有的数据结构不一致，探索有效的视觉-LiDAR融合仍然具有挑战性。为了解决这一问题，本文提出了一种局部到全局的融合网络DVLO，并采用双向结构对齐。该方法通过将点投影到图像平面作为聚类中心，并围绕每个中心聚类图像像素，来获得局部融合特征。随后，通过圆柱投影将点转换为伪图像，进行点到图像的结构对齐，并在点特征和局部融合特征之间进行自适应全局特征融合。我们的算法在KITTI里程计和FlyingThings3D场景流数据集上相较于单模态和多模态方法取得了最先进的性能。

🔬 方法详解

问题定义：本文旨在解决视觉与LiDAR数据融合中的数据结构不一致性问题。现有方法往往无法有效利用两种模态的互补信息，导致融合效果不理想。

核心思路：DVLO网络通过局部到全局的特征融合策略，首先在图像平面上对LiDAR点进行投影，并围绕聚类中心聚类图像像素，从而实现结构对齐。

技术框架：该方法包括两个主要阶段：局部特征融合和全局特征融合。局部特征融合通过聚类和伪点生成实现，而全局特征融合则通过自适应融合机制将点特征与局部特征结合。

关键创新：最重要的创新在于双向结构对齐策略，既考虑了图像到点的对齐，也考虑了点到图像的对齐，从而有效克服了模态间的不一致性。

关键设计：在网络结构上，采用了聚类算法来生成伪点，并设计了损失函数以优化特征融合效果，确保了不同模态特征的有效整合。具体参数设置和网络层次结构在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在KITTI里程计和FlyingThings3D场景流数据集上，DVLO方法的性能显著优于现有的单模态和多模态方法，具体提升幅度达到XX%（具体数据需参考原文），展示了其在视觉-LiDAR融合任务中的有效性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和增强现实等。通过有效融合视觉与LiDAR数据，DVLO能够提升环境感知的准确性和鲁棒性，进而推动智能交通和无人驾驶技术的发展。

📄 摘要（原文）

Information inside visual and LiDAR data is well complementary derived from the fine-grained texture of images and massive geometric information in point clouds. However, it remains challenging to explore effective visual-LiDAR fusion, mainly due to the intrinsic data structure inconsistency between two modalities: Image pixels are regular and dense, but LiDAR points are unordered and sparse. To address the problem, we propose a local-to-global fusion network (DVLO) with bi-directional structure alignment. To obtain locally fused features, we project points onto the image plane as cluster centers and cluster image pixels around each center. Image pixels are pre-organized as pseudo points for image-to-point structure alignment. Then, we convert points to pseudo images by cylindrical projection (point-to-image structure alignment) and perform adaptive global feature fusion between point features and local fused features. Our method achieves state-of-the-art performance on KITTI odometry and FlyingThings3D scene flow datasets compared to both single-modal and multi-modal methods. Codes are released at https://github.com/IRMVLab/DVLO.