HIMap: HybrId Representation Learning for End-to-end Vectorized HD Map Construction

📄 arXiv: 2403.08639v2 📥 PDF

作者: Yi Zhou, Hui Zhang, Jiaqian Yu, Yifan Yang, Sangil Jung, Seung-In Park, ByungIn Yoo

分类: cs.CV

发布日期: 2024-03-13 (更新: 2024-03-26)

备注: Accepted to CVPR 2024

💡 一句话要点

提出HIMap以解决高精度地图构建中的元素信息不足问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 高精度地图 元素级信息 混合表示 点-元素交互 自动驾驶

📋 核心要点

  1. 现有方法在高精度地图构建中主要依赖点级表示学习，难以获取元素级信息，且在处理元素形状错误或纠缠时表现不佳。
  2. 论文提出的HIMap框架通过混合表示HIQuery，结合点级和元素级信息，提升了地图元素的表示和识别能力。
  3. 实验结果表明，HIMap在nuScenes数据集上达到了77.8的mAP，相较于之前的最优方法提升了至少8.3 mAP，表现出色。

📝 摘要（中文）

高精度地图构建需要预测地图元素的类别和点坐标（如道路边界、车道分隔线、行人过街等）。现有方法主要基于点级表示学习来回归准确的点坐标，但在获取元素级信息和处理元素级失败（如元素形状错误或元素间纠缠）方面存在局限。为了解决这些问题，我们提出了一种简单而有效的混合框架HIMap，能够充分学习和交互点级和元素级信息。具体而言，我们引入了一种混合表示HIQuery来表示所有地图元素，并提出了点-元素交互器以交互式提取和编码元素的混合信息。此外，我们还提出了点-元素一致性约束，以增强点级和元素级信息之间的一致性。最终，输出的点-元素集成HIQuery可以直接转换为地图元素的类别、点坐标和掩码。我们进行了大量实验，并在nuScenes和Argoverse2数据集上始终优于之前的方法。值得注意的是，我们的方法在nuScenes数据集上达到了77.8的mAP，显著优于之前的SOTA至少8.3 mAP。

🔬 方法详解

问题定义：论文要解决高精度地图构建中元素信息不足的问题，现有方法在处理元素级信息和元素间纠缠时存在明显的局限性。

核心思路：HIMap框架通过引入混合表示HIQuery，能够同时学习点级和元素级信息，并通过点-元素交互器实现信息的交互提取和编码。

技术框架：HIMap的整体架构包括混合表示HIQuery、点-元素交互器和点-元素一致性约束三个主要模块，形成一个端到端的地图构建流程。

关键创新：HIMap的最大创新在于引入了点-元素交互机制和一致性约束，显著提升了点级和元素级信息之间的一致性，解决了现有方法的不足。

关键设计：在设计中，HIQuery用于表示所有地图元素，点-元素交互器负责提取和编码信息，损失函数则包含了点-元素一致性约束，以确保输出的准确性和一致性。

📊 实验亮点

HIMap在nuScenes数据集上取得了77.8的mAP，相较于之前的最优方法提升了至少8.3 mAP，显示出显著的性能优势。这一成果表明HIMap在高精度地图构建中的有效性和创新性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、智能交通系统和城市规划等。通过提高高精度地图的构建质量，能够为自动驾驶车辆提供更为准确的环境感知，进而提升行驶安全性和效率。未来，HIMap有望在更广泛的智能交通应用中发挥重要作用。

📄 摘要（原文）

Vectorized High-Definition (HD) map construction requires predictions of the category and point coordinates of map elements (e.g. road boundary, lane divider, pedestrian crossing, etc.). State-of-the-art methods are mainly based on point-level representation learning for regressing accurate point coordinates. However, this pipeline has limitations in obtaining element-level information and handling element-level failures, e.g. erroneous element shape or entanglement between elements. To tackle the above issues, we propose a simple yet effective HybrId framework named HIMap to sufficiently learn and interact both point-level and element-level information. Concretely, we introduce a hybrid representation called HIQuery to represent all map elements, and propose a point-element interactor to interactively extract and encode the hybrid information of elements, e.g. point position and element shape, into the HIQuery. Additionally, we present a point-element consistency constraint to enhance the consistency between the point-level and element-level information. Finally, the output point-element integrated HIQuery can be directly converted into map elements' class, point coordinates, and mask. We conduct extensive experiments and consistently outperform previous methods on both nuScenes and Argoverse2 datasets. Notably, our method achieves $77.8$ mAP on the nuScenes dataset, remarkably superior to previous SOTAs by $8.3$ mAP at least.