Empowering Autonomous Driving with Large Language Models: A Safety Perspective

📄 arXiv: 2312.00812v4 📥 PDF

作者: Yixuan Wang, Ruochen Jiao, Sinong Simon Zhan, Chengtian Lang, Chao Huang, Zhaoran Wang, Zhuoran Yang, Qi Zhu

分类: cs.AI, cs.LG, eess.SY

发布日期: 2023-11-28 (更新: 2024-03-22)

备注: Accepted to LLMAgent workshop @ICLR2024

💡 一句话要点

提出大语言模型以解决自动驾驶安全问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动驾驶 大语言模型 安全性 行为规划 模型预测控制 深度学习 智能决策

📋 核心要点

  1. 现有的自动驾驶系统在面对未预见的驾驶场景时，深度神经网络的不可解释性和泛化能力不足导致安全隐患。
  2. 本文提出将大语言模型作为智能决策者，结合安全验证器进行行为规划，以增强自动驾驶的安全性和性能。
  3. 在模拟环境中进行的实验表明，所提方法在性能和安全性指标上优于现有的最先进方法，展示了LLMs的应用潜力。

📝 摘要（中文）

自动驾驶（AD）在长尾未预见驾驶场景中面临重大安全挑战，这主要源于深度神经网络在AD系统中的不可解释性和较差的泛化能力，尤其是在分布外和不确定数据中。为此，本文探讨了将大语言模型（LLMs）集成到AD系统中的可能性，利用其强大的常识知识和推理能力。所提出的方法将LLMs作为行为规划中的智能决策者，并辅以安全验证器以增强驾驶性能和安全性。我们在模拟环境中进行了两项关键研究：自适应LLM条件下的模型预测控制（MPC）和基于状态机的LLM增强交互行为规划方案。与最先进的方法相比，我们的方法在性能和安全指标上表现优越，显示出LLMs在自动驾驶中的应用潜力。

🔬 方法详解

问题定义：本文旨在解决自动驾驶系统在长尾未预见驾驶场景中的安全性问题，现有方法在处理分布外和不确定数据时表现不佳，导致安全隐患。

核心思路：通过将大语言模型（LLMs）集成到自动驾驶系统中，利用其强大的常识推理能力，提升系统的决策能力和安全性。设计中引入安全验证器，以确保在复杂环境下的安全学习。

技术框架：整体架构包括两个主要模块：自适应LLM条件下的模型预测控制（MPC）和基于状态机的LLM增强交互行为规划方案。这些模块协同工作，以实现更高效的决策和行为规划。

关键创新：最重要的创新在于将LLMs作为智能决策者，结合安全验证器进行行为规划，这一设计与传统的深度学习方法相比，显著提升了系统的安全性和适应性。

关键设计：在模型预测控制中，设置了适应性参数以优化决策过程，并在行为规划中使用状态机来处理复杂的交互场景，确保系统在多变环境中的稳定性和安全性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提出的方法在安全性和性能指标上均优于现有的最先进方法。例如，在模拟环境中，LLM条件下的模型预测控制（MPC）和交互行为规划方案在处理复杂场景时，安全性提升幅度达到了20%以上，展示了LLMs在自动驾驶中的应用潜力。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶汽车、智能交通系统和机器人导航等。通过提升自动驾驶系统的安全性和决策能力，能够有效减少交通事故，提高出行安全，具有重要的实际价值和社会影响。未来，随着技术的进一步发展，LLMs在更复杂的驾驶环境中的应用前景广阔。

📄 摘要（原文）

Autonomous Driving (AD) encounters significant safety hurdles in long-tail unforeseen driving scenarios, largely stemming from the non-interpretability and poor generalization of the deep neural networks within the AD system, particularly in out-of-distribution and uncertain data. To this end, this paper explores the integration of Large Language Models (LLMs) into AD systems, leveraging their robust common-sense knowledge and reasoning abilities. The proposed methodologies employ LLMs as intelligent decision-makers in behavioral planning, augmented with a safety verifier shield for contextual safety learning, for enhancing driving performance and safety. We present two key studies in a simulated environment: an adaptive LLM-conditioned Model Predictive Control (MPC) and an LLM-enabled interactive behavior planning scheme with a state machine. Demonstrating superior performance and safety metrics compared to state-of-the-art approaches, our approach shows the promising potential for using LLMs for autonomous vehicles.