TLCFuse: Temporal Multi-Modality Fusion Towards Occlusion-Aware Semantic Segmentation-Aided Motion Planning
作者: Gustavo Salazar-Gomez, Wenqian Liu, Manuel Diaz-Zapata, David Sierra-Gonzalez, Christian Laugier
分类: cs.RO
发布日期: 2023-11-09 (更新: 2024-11-25)
备注: Published on 2024 IEEE Intelligent Vehicles Symposium (IV)
DOI: 10.1109/IV55156.2024.10588460
💡 一句话要点
提出TLCFuse以解决自主驾驶中的遮挡感知问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 遮挡感知 多模态融合 时间线索 语义分割 运动规划 自主驾驶 深度学习
📋 核心要点
- 现有方法在处理遮挡物体时表现不佳，导致周围感知能力不足，影响自主驾驶的安全性和可靠性。
- 本文提出了一种新的多模态融合方法，利用时间线索与激光雷达和摄像头数据结合，增强对遮挡物体的感知能力。
- 在nuScenes数据集上进行的实验表明，模型在语义分割任务上优于其他基线，尤其在遮挡车辆的检测上提升显著。
📝 摘要（中文）
在自主驾驶中，处理遮挡场景至关重要但具有挑战性。强大的周围感知能力对于应对遮挡和辅助运动规划至关重要。现有模型通过融合激光雷达和摄像头数据取得了良好的感知效果，但在检测被遮挡物体方面仍然存在困难。本文强调了时间线索的重要性，通过将其与多模态数据结合，提出了一种新的鸟瞰视角语义网格分割方法，利用连续传感器数据增强对遮挡的鲁棒性。我们的模型通过注意力机制提取传感器读数中的信息，并将其聚合为低维潜在表示，从而在每个预测步骤中处理多步输入。此外，我们还展示了该模型如何直接应用于交通场景的发展预测，并无缝集成到轨迹规划的运动规划器中。实验结果表明，在nuScenes数据集上的语义分割任务中，我们的模型优于其他基线，尤其在评估被遮挡和部分被遮挡的车辆时差异显著。
🔬 方法详解
问题定义：本文旨在解决自主驾驶中遮挡物体的检测问题。现有方法在处理遮挡场景时，往往无法有效识别被遮挡的物体，导致感知结果不准确。
核心思路：我们提出了一种新的方法，通过结合时间线索与多模态数据（激光雷达和摄像头），增强模型对遮挡物体的鲁棒性。通过注意力机制提取信息，并将其聚合为低维表示，以便在每个预测步骤中处理多步输入。
技术框架：整体架构包括数据采集、特征提取、信息聚合和预测四个主要模块。首先，从激光雷达和摄像头获取数据，然后通过注意力机制提取特征，接着聚合这些特征形成低维表示，最后进行语义分割和运动规划。
关键创新：本研究的主要创新在于引入时间线索与多模态数据的融合，显著提高了对遮挡物体的检测能力。这一方法与传统的单一模态方法相比，能够更好地处理复杂的遮挡场景。
关键设计：模型采用了特定的损失函数来优化语义分割效果，并设计了适应性强的网络结构，以便在不同的输入条件下保持性能稳定。
🖼️ 关键图片
📊 实验亮点
在nuScenes数据集上的实验结果显示，TLCFuse模型在语义分割任务中优于其他基线，特别是在遮挡和部分遮挡车辆的检测上，性能提升幅度达到显著水平，验证了模型的有效性和鲁棒性。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶汽车、智能交通系统和机器人导航等。通过提高对遮挡物体的感知能力，能够显著提升自主驾驶的安全性和效率，推动智能交通技术的发展。
📄 摘要（原文）
In autonomous driving, addressing occlusion scenarios is crucial yet challenging. Robust surrounding perception is essential for handling occlusions and aiding motion planning. State-of-the-art models fuse Lidar and Camera data to produce impressive perception results, but detecting occluded objects remains challenging. In this paper, we emphasize the crucial role of temporal cues by integrating them alongside these modalities to address this challenge. We propose a novel approach for bird's eye view semantic grid segmentation, that leverages sequential sensor data to achieve robustness against occlusions. Our model extracts information from the sensor readings using attention operations and aggregates this information into a lower-dimensional latent representation, enabling thus the processing of multi-step inputs at each prediction step. Moreover, we show how it can also be directly applied to forecast the development of traffic scenes and be seamlessly integrated into a motion planner for trajectory planning. On the semantic segmentation tasks, we evaluate our model on the nuScenes dataset and show that it outperforms other baselines, with particularly large differences when evaluating on occluded and partially-occluded vehicles. Additionally, on motion planning task we are among the early teams to train and evaluate on nuPlan, a cutting-edge large-scale dataset for motion planning.