RoadBEV: Road Surface Reconstruction in Bird's Eye View
作者: Tong Zhao, Lei Yang, Yichen Xie, Mingyu Ding, Masayoshi Tomizuka, Yintao Wei
分类: cs.CV
发布日期: 2024-04-09 (更新: 2024-08-07)
备注: Accepted by IEEE TITS https://ieeexplore.ieee.org/document/10618926
🔗 代码/项目: GITHUB
💡 一句话要点
提出RoadBEV以解决道路表面重建问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 道路重建 鸟瞰视角 深度估计 自动驾驶 计算机视觉 立体匹配 高程估计
📋 核心要点
- 现有的单目深度估计和立体匹配方法在道路表面重建中表现不佳，难以满足自动驾驶的需求。
- 本文提出了RoadBEV-mono和RoadBEV-stereo两种模型，分别利用单目和立体图像进行道路高程重建，显著提高了重建精度。
- 在真实世界数据集上的实验结果显示，RoadBEV-mono和RoadBEV-stereo的高程误差分别为1.83厘米和0.50厘米，表现出优越性。
📝 摘要（中文）
道路表面条件，尤其是几何轮廓，对自动驾驶车辆的行驶性能有着重要影响。基于视觉的在线道路重建能够提前捕捉道路信息，但现有的单目深度估计和立体匹配方法性能有限。本文提出了两种简单有效的鸟瞰视角（BEV）模型，分别为RoadBEV-mono和RoadBEV-stereo，旨在提高道路高程重建的准确性。实验结果表明，RoadBEV-mono和RoadBEV-stereo的高程误差分别为1.83厘米和0.50厘米，显示出优越的性能。这些模型为提升自动驾驶的安全性和舒适性提供了重要信息。
🔬 方法详解
问题定义：本文旨在解决自动驾驶车辆在道路表面重建中的高程估计问题。现有方法如单目深度估计和立体匹配在精度和可靠性上存在不足，无法有效捕捉复杂的道路几何特征。
核心思路：论文提出的RoadBEV-mono和RoadBEV-stereo模型，利用鸟瞰视角（BEV）进行道路高程重建，分别通过单目和立体图像来估计道路高程，旨在提高重建的准确性和可靠性。
技术框架：RoadBEV-mono模型直接从图像视图中查询体素特征来拟合高程值，而RoadBEV-stereo模型则通过BEV体积有效识别左右体素特征之间的相关性，从而识别道路高程模式。
关键创新：本研究的主要创新在于将BEV感知技术应用于道路高程重建，显著提高了重建的准确性和一致性，克服了传统方法的局限性。
关键设计：模型设计中，RoadBEV-mono采用了直接拟合的方式，而RoadBEV-stereo则通过体素特征的相关性进行模式识别，具体的损失函数和网络结构细节在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，RoadBEV-mono和RoadBEV-stereo在高程重建方面分别达到了1.83厘米和0.50厘米的误差，显著优于现有的单目和立体匹配方法，展示了BEV技术在道路重建中的巨大潜力。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶汽车的导航系统和道路维护监测。通过提供准确的道路表面信息，能够显著提升自动驾驶的安全性和舒适性，未来可能在智能交通系统中发挥重要作用。
📄 摘要（原文）
Road surface conditions, especially geometry profiles, enormously affect driving performance of autonomous vehicles. Vision-based online road reconstruction promisingly captures road information in advance. Existing solutions like monocular depth estimation and stereo matching suffer from modest performance. The recent technique of Bird's-Eye-View (BEV) perception provides immense potential to more reliable and accurate reconstruction. This paper uniformly proposes two simple yet effective models for road elevation reconstruction in BEV named RoadBEV-mono and RoadBEV-stereo, which estimate road elevation with monocular and stereo images, respectively. The former directly fits elevation values based on voxel features queried from image view, while the latter efficiently recognizes road elevation patterns based on BEV volume representing correlation between left and right voxel features. Insightful analyses reveal their consistence and difference with the perspective view. Experiments on real-world dataset verify the models' effectiveness and superiority. Elevation errors of RoadBEV-mono and RoadBEV-stereo achieve 1.83 cm and 0.50 cm, respectively. Our models are promising for practical road preview, providing essential information for promoting safety and comfort of autonomous vehicles. The code is released at https://github.com/ztsrxh/RoadBEV