Foundation Models for Autonomous Driving Perception: A Survey Through Core Capabilities

📄 arXiv: 2509.08302v1 📥 PDF

作者: Rajendramayavan Sathyam, Yueqi Li

分类: cs.RO, cs.CV

发布日期: 2025-09-10

备注: 32 pages, 14 figures, accepted at IEEE Open Journal of Vehicular Technology (OJVT)

DOI: 10.1109/OJVT.2025.3604823

💡 一句话要点

综述：自动驾驶感知中的基础模型及其核心能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动驾驶感知 基础模型 深度学习 多传感器融合 时间推理

📋 核心要点

  1. 现有自动驾驶感知模型泛化性差，难以应对真实世界复杂多变的场景，且对数据分布偏移敏感。
  2. 本文提出了一种以能力为导向的分类框架，从广义知识、空间理解、多传感器鲁棒性和时间推理四个核心能力出发，分析基础模型在自动驾驶感知中的应用。
  3. 该综述总结了现有方法的优缺点，并指出了将基础模型部署到实际自动驾驶系统中面临的挑战和未来的研究方向。

📝 摘要（中文）

基础模型正在革新自动驾驶感知领域，将研究重心从狭窄的、特定任务的深度学习模型转变为在海量、多样化数据集上训练的通用架构。本综述考察了这些模型如何应对自动驾驶感知中的关键挑战，包括泛化能力、可扩展性和对分布偏移的鲁棒性。文章提出了一个新颖的分类法，围绕动态驾驶环境中实现鲁棒性能的四个基本能力构建：广义知识、空间理解、多传感器鲁棒性和时间推理。对于每种能力，综述阐明了其重要性并全面回顾了前沿方法。与传统以方法为中心的综述不同，本文独特的框架优先考虑概念设计原则，为模型开发提供了一个以能力为导向的指南，并更清晰地洞察基础方面。最后，讨论了关键挑战，特别是与将这些能力集成到实时、可扩展系统中的挑战，以及与计算需求和确保模型可靠性（例如对抗幻觉和分布外失效）相关的更广泛的部署挑战。综述还概述了关键的未来研究方向，以实现基础模型在自动驾驶系统中的安全有效部署。

🔬 方法详解

问题定义：自动驾驶感知任务面临泛化性、可扩展性和鲁棒性挑战。传统深度学习模型通常针对特定任务设计，难以适应新的场景和数据分布，并且难以有效利用多传感器信息和时间序列信息。现有方法在处理长尾分布、对抗攻击和传感器噪声等方面存在不足。

核心思路：本文的核心思路是从自动驾驶感知任务所需的核心能力出发，分析基础模型如何提升这些能力。通过将自动驾驶感知任务分解为广义知识、空间理解、多传感器鲁棒性和时间推理四个关键能力，可以更清晰地理解基础模型在自动驾驶感知中的作用和潜力。这种以能力为导向的分析框架有助于指导模型设计和选择。

技术框架：该综述没有提出新的模型架构，而是对现有基于基础模型的自动驾驶感知方法进行了分类和总结。其框架围绕四个核心能力展开： 1. 广义知识：利用预训练模型学习到的通用知识，提升模型对新场景的适应能力。 2. 空间理解：利用视觉Transformer等模型增强对场景几何和语义信息的理解。 3. 多传感器鲁棒性：融合来自不同传感器（如激光雷达、摄像头、毫米波雷达）的信息，提高感知系统的鲁棒性。 4. 时间推理：利用循环神经网络或Transformer等模型对时间序列信息进行建模，提高对动态环境的理解能力。

关键创新：该综述的创新之处在于提出了一个以能力为导向的自动驾驶感知基础模型分析框架。与传统的以方法为中心的综述不同，本文更关注模型背后的设计原则和核心能力，从而为模型开发和选择提供更清晰的指导。

关键设计：本文主要关注现有模型的应用和分析，没有涉及新的模型设计。但是，文章讨论了各种模型的关键设计选择，例如Transformer的注意力机制、多传感器融合策略、以及时间序列建模方法等。这些设计选择直接影响了模型在各个核心能力上的表现。

📊 实验亮点

该综述总结了当前自动驾驶感知领域中基础模型的应用现状，并指出了其在提升泛化性、鲁棒性和可扩展性方面的潜力。通过对现有方法的分类和分析，为研究人员提供了一个全面的参考，并为未来的研究方向提供了指导。文章强调了将基础模型部署到实际自动驾驶系统中面临的挑战，例如计算资源限制和模型可靠性问题。

🎯 应用场景

该研究对自动驾驶系统的感知模块具有重要意义，有助于提升自动驾驶车辆在复杂环境下的安全性和可靠性。通过利用基础模型，可以提高自动驾驶系统对新场景的适应能力，降低对大量标注数据的依赖，并增强对传感器噪声和对抗攻击的鲁棒性。此外，该研究也为其他机器人感知任务提供了借鉴。

📄 摘要（原文）

Foundation models are revolutionizing autonomous driving perception, transitioning the field from narrow, task-specific deep learning models to versatile, general-purpose architectures trained on vast, diverse datasets. This survey examines how these models address critical challenges in autonomous perception, including limitations in generalization, scalability, and robustness to distributional shifts. The survey introduces a novel taxonomy structured around four essential capabilities for robust performance in dynamic driving environments: generalized knowledge, spatial understanding, multi-sensor robustness, and temporal reasoning. For each capability, the survey elucidates its significance and comprehensively reviews cutting-edge approaches. Diverging from traditional method-centric surveys, our unique framework prioritizes conceptual design principles, providing a capability-driven guide for model development and clearer insights into foundational aspects. We conclude by discussing key challenges, particularly those associated with the integration of these capabilities into real-time, scalable systems, and broader deployment challenges related to computational demands and ensuring model reliability against issues like hallucinations and out-of-distribution failures. The survey also outlines crucial future research directions to enable the safe and effective deployment of foundation models in autonomous driving systems.