3DSFLabelling: Boosting 3D Scene Flow Estimation by Pseudo Auto-labelling

📄 arXiv: 2402.18146v2 📥 PDF

作者: Chaokang Jiang, Guangming Wang, Jiuming Liu, Hesheng Wang, Zhuang Ma, Zhenqiang Liu, Zhujin Liang, Yi Shan, Dalong Du

分类: cs.CV

发布日期: 2024-02-28 (更新: 2024-03-01)

备注: Accepted by CVPR2024! 10 pages, 6 figures

💡 一句话要点

提出3DSFLabelling以解决3D场景流估计中的标签稀缺问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D场景流 LiDAR点云 伪标签生成 数据增强 自动驾驶 刚体运动

📋 核心要点

  1. 现有方法在从合成数据集到真实场景的泛化能力差，且真实世界3D标签稀缺，导致3D场景流估计面临重大挑战。
  2. 本文提出了一种基于伪标签生成的自标记方法，通过模拟刚体运动来生成大量3D场景流伪标签，提升估计精度。
  3. 在多个真实数据集上进行实验，结果显示该方法在EPE3D指标上显著降低，表现优于所有现有的监督和无监督方法。

📝 摘要（中文）

从LiDAR点云中学习3D场景流面临诸多挑战，包括从合成数据集到真实场景的泛化能力差、真实世界3D标签稀缺以及在稀疏LiDAR点云上的表现不佳。本文提出了一种新颖的自标记方法，旨在为真实世界的LiDAR点云生成大量3D场景流伪标签。具体而言，我们利用刚体运动假设模拟自主驾驶场景中的潜在物体级刚性运动，通过更新多个锚框的运动属性，获得整个场景的刚性运动分解。此外，我们开发了一种新颖的3D场景流数据增强方法，结合全局和局部运动，基于增强的运动参数合成目标点云，从而获得与真实场景高度一致的3D场景流标签。在多个真实世界数据集上，包括LiDAR KITTI、nuScenes和Argoverse，我们的方法超越了所有先前的监督和无监督方法，且无需人工标注。令人印象深刻的是，我们的方法在LiDAR KITTI数据集上实现了EPE3D指标的十倍降低，从0.190m降至仅0.008m的误差。

🔬 方法详解

问题定义：本文旨在解决从LiDAR点云中估计3D场景流时面临的标签稀缺和泛化能力差的问题。现有方法在真实场景中表现不佳，且缺乏足够的真实标签进行训练。

核心思路：论文提出了一种基于伪标签生成的自标记方法，利用刚体运动假设来模拟自主驾驶场景中的物体运动，从而生成大量的3D场景流伪标签。

技术框架：整体方法包括伪标签生成和数据增强两个主要模块。首先，通过更新多个锚框的运动属性，获得整个场景的刚性运动分解；其次，基于增强的运动参数合成目标点云，生成与真实场景一致的3D场景流标签。

关键创新：最重要的技术创新在于通过刚体运动假设生成伪标签，这一方法有效克服了真实标签稀缺的问题，并且在真实场景中表现出色。

关键设计：在参数设置上，采用了多种运动属性更新策略，损失函数设计上注重于减少EPE3D误差，网络结构则结合了数据增强技术，确保生成的伪标签与真实场景高度一致。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提方法在LiDAR KITTI数据集上实现了EPE3D指标的十倍降低，从0.190m降至0.008m，显著优于所有现有的监督和无监督方法，展示了其在真实场景流估计中的强大能力。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在自动驾驶、机器人导航和增强现实等领域。通过生成高质量的3D场景流标签，能够显著提升模型在真实环境中的表现，推动相关技术的实际应用和发展。未来，该方法可能会影响更多领域的3D数据处理和分析。

📄 摘要（原文）

Learning 3D scene flow from LiDAR point clouds presents significant difficulties, including poor generalization from synthetic datasets to real scenes, scarcity of real-world 3D labels, and poor performance on real sparse LiDAR point clouds. We present a novel approach from the perspective of auto-labelling, aiming to generate a large number of 3D scene flow pseudo labels for real-world LiDAR point clouds. Specifically, we employ the assumption of rigid body motion to simulate potential object-level rigid movements in autonomous driving scenarios. By updating different motion attributes for multiple anchor boxes, the rigid motion decomposition is obtained for the whole scene. Furthermore, we developed a novel 3D scene flow data augmentation method for global and local motion. By perfectly synthesizing target point clouds based on augmented motion parameters, we easily obtain lots of 3D scene flow labels in point clouds highly consistent with real scenarios. On multiple real-world datasets including LiDAR KITTI, nuScenes, and Argoverse, our method outperforms all previous supervised and unsupervised methods without requiring manual labelling. Impressively, our method achieves a tenfold reduction in EPE3D metric on the LiDAR KITTI dataset, reducing it from $0.190m$ to a mere $0.008m$ error.