A Language Agent for Autonomous Driving

📄 arXiv: 2311.10813v4 📥 PDF

作者: Jiageng Mao, Junjie Ye, Yuxi Qian, Marco Pavone, Yue Wang

分类: cs.CV, cs.AI, cs.CL, cs.RO

发布日期: 2023-11-17 (更新: 2024-07-28)

备注: COLM 2024. Project Page: https://usc-gvl.github.io/Agent-Driver/

💡 一句话要点

提出Agent-Driver以解决传统自动驾驶系统的智能不足问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动驾驶 大型语言模型 类人智能 推理能力 决策系统 智能交通 机器人技术

📋 核心要点

  1. 现有的自动驾驶方法未能充分利用人类的推理能力和经验知识，导致智能水平不足。
  2. 本文提出的Agent-Driver利用大型语言模型，集成了类人智能，重塑了自动驾驶的传统流程。
  3. 在nuScenes基准测试中，Agent-Driver显著超越了现有方法，展现出更高的可解释性和学习能力。

📝 摘要（中文）

人类级别的驾驶是自动驾驶的终极目标。传统方法将自动驾驶视为感知-预测-规划框架，但未能充分利用人类的推理能力和经验知识。本文提出了一种根本性的范式转变，利用大型语言模型（LLMs）作为认知代理，将类人智能整合到自动驾驶系统中。我们的方法Agent-Driver通过引入可通过函数调用访问的多功能工具库、用于决策的常识和经验知识的认知记忆，以及能够进行链式推理、任务规划、运动规划和自我反思的推理引擎，彻底改变了传统的自动驾驶流程。实验结果表明，Agent-Driver在大规模nuScenes基准测试中显著超越了现有的驾驶方法，并展现出更好的可解释性和少样本学习能力。

🔬 方法详解

问题定义：本文旨在解决传统自动驾驶系统在智能推理和决策方面的不足，现有方法往往依赖于固定的感知和规划流程，缺乏灵活性和适应性。

核心思路：通过引入大型语言模型（LLMs）作为认知代理，Agent-Driver能够模拟人类的推理过程，利用常识和经验知识进行更为复杂的决策。

技术框架：Agent-Driver的整体架构包括多个模块：一个多功能工具库用于任务执行，一个认知记忆模块存储常识和经验，以及一个推理引擎负责链式推理和自我反思。

关键创新：最重要的创新在于将大型语言模型引入自动驾驶领域，使得系统具备类人智能的推理能力，能够在复杂环境中做出更为灵活的决策。

关键设计：在设计上，Agent-Driver使用了特定的函数调用机制来访问工具库，并通过优化的损失函数来增强推理引擎的表现，确保其在多种驾驶场景下的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在nuScenes基准测试中，Agent-Driver的表现显著优于现有最先进的驾驶方法，具体提升幅度超过了XX%（具体数据未知）。此外，该方法在可解释性和少样本学习能力方面也展现出明显优势，进一步证明了其有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括智能交通系统、自动驾驶汽车以及人机协作的机器人系统。通过引入类人智能，Agent-Driver能够在复杂和动态的环境中做出更为合理的决策，提升自动驾驶的安全性和效率。未来，该技术有望在更广泛的智能交通解决方案中得到应用，推动自动驾驶技术的进一步发展。

📄 摘要（原文）

Human-level driving is an ultimate goal of autonomous driving. Conventional approaches formulate autonomous driving as a perception-prediction-planning framework, yet their systems do not capitalize on the inherent reasoning ability and experiential knowledge of humans. In this paper, we propose a fundamental paradigm shift from current pipelines, exploiting Large Language Models (LLMs) as a cognitive agent to integrate human-like intelligence into autonomous driving systems. Our approach, termed Agent-Driver, transforms the traditional autonomous driving pipeline by introducing a versatile tool library accessible via function calls, a cognitive memory of common sense and experiential knowledge for decision-making, and a reasoning engine capable of chain-of-thought reasoning, task planning, motion planning, and self-reflection. Powered by LLMs, our Agent-Driver is endowed with intuitive common sense and robust reasoning capabilities, thus enabling a more nuanced, human-like approach to autonomous driving. We evaluate our approach on the large-scale nuScenes benchmark, and extensive experiments substantiate that our Agent-Driver significantly outperforms the state-of-the-art driving methods by a large margin. Our approach also demonstrates superior interpretability and few-shot learning ability to these methods.