DrivingAgent: Design and Scheduling Agents for Autonomous Driving Systems

📄 arXiv: 2606.12236v1 📥 PDF

作者: Zhongyu Xia, Wenhao Chen, Yongtao Wang, Ming-Hsuan Yang

分类: cs.RO, cs.CV

发布日期: 2026-06-10

💡 一句话要点

提出DrivingAgent以解决自主驾驶系统设计与调度问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自主驾驶 模型设计 动态调度 强化学习 系统架构 实时响应 模块化设计

📋 核心要点

  1. 现有自主驾驶系统在模型设计和实时调度方面存在手动集成和动态调度不足的问题。
  2. DrivingAgent通过自动化模块开发和实时调度，解决了设计与调度的双重挑战，提升了系统效率。
  3. 实验结果显示，DrivingAgent在nuScenes和Bench2Drive基准测试中表现出色，优化了速度与准确性的平衡。

📝 摘要（中文）

许多自主驾驶系统越来越多地采用基础模型以提高泛化能力并处理长尾场景。然而，这一趋势带来了两个主要挑战：一是设计和集成新模型的手动和劳动密集型过程，二是缺乏智能动态调度机制以满足严格的实时约束。尽管基于大型语言模型（LLM）的代理提供了自动化的前景，但现有框架不适用于自主驾驶，未能区分系统设计和实时调度的根本性需求。为了解决这些局限性，本文提出了DrivingAgent，一个新颖的代理框架，旨在应对自主驾驶系统设计和调度的双重挑战。实验结果表明，DrivingAgent在nuScenes和Bench2Drive基准测试中实现了优越的速度-准确性权衡。

🔬 方法详解

问题定义：本文旨在解决自主驾驶系统设计与调度中的手动集成和实时调度不足的问题。现有方法未能有效区分设计与调度的需求，导致系统效率低下。

核心思路：DrivingAgent通过自动化模块开发和动态调度机制，提升自主驾驶系统的设计与运行效率。设计阶段自动生成代码并验证模块，调度阶段则利用轻量级LLM进行实时模块调度。

技术框架：DrivingAgent的整体架构分为设计和调度两个主要阶段。在设计阶段，系统架构被解析，代码生成和模块验证通过超网络训练实现；在调度阶段，使用强化学习训练的LLM动态调度系统模块，并结合结构化内存进行信息管理。

关键创新：DrivingAgent的创新在于将设计与调度分开处理，避免了现有方法将模块视为黑箱的局限，支持连续操作并提高了系统的实时响应能力。

关键设计：在设计阶段，采用超网络训练来验证模块的有效性；在调度阶段，使用轻量级LLM和结构化内存，确保实时调度的高效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DrivingAgent在nuScenes和Bench2Drive基准测试中实现了显著的性能提升，具体表现为在速度与准确性之间的优越权衡，超越了现有的基线方法，展示了其在实际应用中的潜力。

🎯 应用场景

DrivingAgent的研究成果在自主驾驶领域具有广泛的应用潜力，能够提升自动驾驶系统的设计效率和实时调度能力。未来，该框架可扩展至其他需要高效调度和模块化设计的智能系统，如智能交通管理和机器人控制等领域。

📄 摘要（原文）

Many autonomous driving systems are increasingly incorporating foundation models to improve generalization and handle long-tail scenarios. However, this trend introduces two key challenges: (i) the manual and labor-intensive process of designing and integrating new models, and (ii) the lack of intelligent, dynamic scheduling mechanisms to meet strict real-time constraints. While Large Language Model (LLM)-based agents offer a promising avenue for automation, existing frameworks are ill-suited for autonomous driving. Specifically, they fail to distinguish between the fundamentally different requirements of system design and real-time scheduling, treat modules as opaque black boxes, and are not designed for continuous operation. To address these limitations, we propose DrivingAgent, a novel agent framework tailored to the dual challenges of autonomous driving system design and scheduling. In the design phase, DrivingAgent automates module development by interpreting system architecture, generating code, and validating modules via super-network training. In the scheduling phase, it employs a lightweight LLM trained with reinforcement learning to dynamically orchestrate system modules in real time, supported by a structured memory that integrates long-term storage with timestamped short-term context. Experimental results demonstrate that DrivingAgent achieves a superior speed--accuracy trade-off on both the nuScenes and Bench2Drive benchmarks.