PreSight: Enhancing Autonomous Vehicle Perception with City-Scale NeRF Priors
作者: Tianyuan Yuan, Yucheng Mao, Jiawei Yang, Yicheng Liu, Yue Wang, Hang Zhao
分类: cs.CV
发布日期: 2024-03-14 (更新: 2024-07-15)
🔗 代码/项目: GITHUB
💡 一句话要点
提出PreSight以解决自动驾驶感知系统在复杂环境中的不足
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 自动驾驶 感知系统 神经辐射场 城市规模 先验记忆 深度学习 智能交通
📋 核心要点
- 现有的自动驾驶感知系统在复杂环境下（如遮挡和极端光照）仍然存在局限性，影响导航效果。
- 本文提出的PreSight框架通过利用历史行驶数据构建静态先验记忆，增强了在线感知能力。
- 在nuScenes数据集上的实验结果显示，该框架在高清地图构建和占用预测任务中显著提升了性能。
📝 摘要（中文）
自动驾驶车辆在导航和理解周围环境时，依赖于感知系统。尽管这些系统近年来取得了显著进展，但在遮挡、极端光照或陌生城市等条件下仍面临挑战。人类在新城市导航时，会逐渐形成初步的心理地图，以补充实时感知。受此启发，本文提出了一种新框架PreSight，通过利用过去的行驶数据构建静态先验记忆，从而增强后续导航中的在线感知。该方法通过优化城市规模的神经辐射场，生成富含语义和几何细节的神经先验，无需手动标注，能够无缝增强各种先进的感知模型，提升其效率且计算成本极低。实验结果表明，该框架与多种在线感知模型高度兼容，特别是在高清地图构建和占用预测任务中表现出显著提升，展示了其作为新感知框架的潜力。
🔬 方法详解
问题定义：本文旨在解决自动驾驶感知系统在复杂环境下的感知不足，尤其是在遮挡和极端光照条件下的表现不佳。现有方法往往依赖于实时数据，缺乏对历史信息的有效利用。
核心思路：PreSight框架的核心思想是通过优化城市规模的神经辐射场，利用过去的行驶数据生成静态先验记忆，从而增强后续导航中的在线感知能力。该方法模仿人类在新环境中逐步建立心理地图的过程。
技术框架：该框架包括数据收集、神经辐射场优化和先验记忆生成三个主要模块。首先收集历史行驶数据，然后通过优化神经辐射场生成富含语义和几何信息的先验，最后将这些先验信息与在线感知模型结合。
关键创新：PreSight的主要创新在于无需手动标注数据即可生成高质量的神经先验，这与传统方法依赖大量标注数据的方式形成鲜明对比。
关键设计：在技术细节上，采用了特定的损失函数来优化神经辐射场，并设计了适应性强的网络结构，以确保生成的先验信息能够有效增强感知模型的性能。
🖼️ 关键图片
📊 实验亮点
在nuScenes数据集上的实验结果显示，PreSight框架在高清地图构建任务中性能提升了XX%，在占用预测任务中提升了YY%。这些结果表明该框架与多种在线感知模型具有良好的兼容性，展示了其在实际应用中的巨大潜力。
🎯 应用场景
PreSight框架具有广泛的应用潜力，尤其是在自动驾驶、智能交通系统和城市规划等领域。通过增强感知系统的能力，该方法可以提高自动驾驶车辆在复杂环境中的安全性和效率，推动智能交通技术的发展。
📄 摘要（原文）
Autonomous vehicles rely extensively on perception systems to navigate and interpret their surroundings. Despite significant advancements in these systems recently, challenges persist under conditions like occlusion, extreme lighting, or in unfamiliar urban areas. Unlike these systems, humans do not solely depend on immediate observations to perceive the environment. In navigating new cities, humans gradually develop a preliminary mental map to supplement real-time perception during subsequent visits. Inspired by this human approach, we introduce a novel framework, PreSight, that leverages past traversals to construct static prior memories, enhancing online perception in later navigations. Our method involves optimizing a city-scale neural radiance field with data from previous journeys to generate neural priors. These priors, rich in semantic and geometric details, are derived without manual annotations and can seamlessly augment various state-of-the-art perception models, improving their efficacy with minimal additional computational cost. Experimental results on the nuScenes dataset demonstrate the framework's high compatibility with diverse online perception models. Specifically, it shows remarkable improvements in HD-map construction and occupancy prediction tasks, highlighting its potential as a new perception framework for autonomous driving systems. Our code will be released at https://github.com/yuantianyuan01/PreSight.