AutoInst: Automatic Instance-Based Segmentation of LiDAR 3D Scans
作者: Cedric Perauer, Laurenz Adrian Heidrich, Haifan Zhang, Matthias Nießner, Anastasiia Kornilova, Alexey Artemov
分类: cs.CV
发布日期: 2024-03-24 (更新: 2024-08-28)
备注: 8 pages, 7 figures, to be published in IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) 2024
🔗 代码/项目: GITHUB
💡 一句话要点
提出AutoInst以解决LiDAR 3D扫描的实例分割问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 实例分割 无监督学习 LiDAR 3D场景理解 伪标注 自我训练 图割算法
📋 核心要点
- 现有方法通常依赖于大量标注数据，获取这些数据非常困难，限制了3D场景的实例分割能力。
- 本文提出了一种无监督的实例分割方法，通过伪标注和自我训练算法生成准确的实例分割结果。
- 在SemanticKITTI基准测试中，所提方法的平均精度提高了13.3%，F1分数提高了9.1%，显示出显著的性能提升。
📝 摘要（中文）
近年来，LiDAR传感器的进步使得对广阔户外3D环境的感知成为可能。为了理解这些3D数据，构建基于实例的3D场景分割至关重要。传统方法依赖于大量密集标注的数据集，而获取这些数据集通常非常困难。为了解决这一问题，本文提出了一种无监督的实例分割方法，完全不依赖于真实标注。我们构建了一个学习框架，包括伪标注方案和自我训练算法，以从初始的噪声提案中生成准确的实例分割。通过构建加权代理图并进行图割，我们能够生成3D实例掩码提案，并在此基础上训练3D实例分割模型。实验结果表明，该方法在SemanticKITTI基准测试中显著提高了性能。
🔬 方法详解
问题定义：本文旨在解决LiDAR 3D扫描的实例分割问题。现有方法依赖于大量的标注数据，而这些数据的获取非常困难，限制了模型的训练和应用。
核心思路：我们提出了一种无监督的学习框架，通过伪标注生成初始标签，并利用自我训练算法从噪声提案中提取准确的实例。这样的设计使得我们不再依赖于真实的标注数据。
技术框架：整体框架包括两个主要模块：伪标注生成和自我训练。首先，通过加权代理图连接3D点，生成初步的伪实例提案；然后，利用自我训练算法对这些提案进行优化，最终生成高质量的实例分割结果。
关键创新：本研究的创新点在于提出了一种无监督的实例分割方法，利用伪标注和自我训练相结合的方式，显著提高了实例分割的准确性。这与传统依赖标注数据的方法形成了鲜明对比。
关键设计：在技术细节上，我们构建了加权代理图以整合多模态特征，并使用图割算法来隔离伪实例。此外，采用了基于点的架构进行模型训练，设计了局部3D点块处理和合并步骤，以适应复杂的3D场景。我们还优化了损失函数以提高模型的鲁棒性。
🖼️ 关键图片
📊 实验亮点
在SemanticKITTI基准测试中，AutoInst方法的平均精度提高了13.3%，F1分数提高了9.1%，显著优于最佳基线。这表明该方法在处理复杂3D场景时具有强大的性能和潜力。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、城市建模和环境监测等。通过提供高效的无监督实例分割方法，能够在缺乏标注数据的情况下，快速处理和分析大规模3D场景数据，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Recently, progress in acquisition equipment such as LiDAR sensors has enabled sensing increasingly spacious outdoor 3D environments. Making sense of such 3D acquisitions requires fine-grained scene understanding, such as constructing instance-based 3D scene segmentations. Commonly, a neural network is trained for this task; however, this requires access to a large, densely annotated dataset, which is widely known to be challenging to obtain. To address this issue, in this work we propose to predict instance segmentations for 3D scenes in an unsupervised way, without relying on ground-truth annotations. To this end, we construct a learning framework consisting of two components: (1) a pseudo-annotation scheme for generating initial unsupervised pseudo-labels; and (2) a self-training algorithm for instance segmentation to fit robust, accurate instances from initial noisy proposals. To enable generating 3D instance mask proposals, we construct a weighted proxy-graph by connecting 3D points with edges integrating multi-modal image- and point-based self-supervised features, and perform graph-cuts to isolate individual pseudo-instances. We then build on a state-of-the-art point-based architecture and train a 3D instance segmentation model, resulting in significant refinement of initial proposals. To scale to arbitrary complexity 3D scenes, we design our algorithm to operate on local 3D point chunks and construct a merging step to generate scene-level instance segmentations. Experiments on the challenging SemanticKITTI benchmark demonstrate the potential of our approach, where it attains 13.3% higher Average Precision and 9.1% higher F1 score compared to the best-performing baseline. The code will be made publicly available at https://github.com/artonson/autoinst.