DrivingAgent: Design and Scheduling Agents for Autonomous Driving Systems
作者: Zhongyu Xia, Wenhao Chen, Yongtao Wang, Ming-Hsuan Yang
分类: cs.RO, cs.CV
发布日期: 2026-06-12
💡 一句话要点
提出DrivingAgent以解决自主驾驶系统设计与调度问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自主驾驶 模块开发 动态调度 强化学习 大型语言模型 系统设计 实时约束
📋 核心要点
- 现有方法在自主驾驶系统设计与调度中面临手动集成和实时约束的挑战，缺乏智能化解决方案。
- DrivingAgent通过自动化模块开发和动态调度，解决了设计与调度过程中的效率与实时性问题。
- 实验结果显示，DrivingAgent在nuScenes和Bench2Drive基准测试中实现了速度与准确性的优越平衡，表现显著提升。
📝 摘要（中文）
许多自主驾驶系统越来越多地采用基础模型以提高泛化能力和处理长尾场景。然而，这一趋势带来了两个主要挑战：一是设计和集成新模型的手动和劳动密集型过程，二是缺乏智能动态调度机制以满足严格的实时约束。现有基于大型语言模型的代理框架不适合自主驾驶，无法区分系统设计与实时调度的不同需求，且未能实现连续操作。为此，本文提出了DrivingAgent，一个新颖的代理框架，旨在解决自主驾驶系统设计与调度的双重挑战。在设计阶段，DrivingAgent通过解析系统架构、生成代码和通过超网络训练验证模块来自动化模块开发。在调度阶段，它利用经过强化学习训练的轻量级LLM实时动态协调系统模块，并通过结构化内存整合长期存储与时间戳短期上下文。实验结果表明，DrivingAgent在nuScenes和Bench2Drive基准上实现了优越的速度-准确性权衡。
🔬 方法详解
问题定义：本文旨在解决自主驾驶系统设计与调度中的手动集成和实时调度不足的问题。现有方法未能有效区分系统设计与调度的不同需求，且无法实现连续操作，导致效率低下。
核心思路：DrivingAgent通过自动化模块开发和智能调度来应对上述挑战。设计阶段自动解析系统架构并生成代码，调度阶段则利用轻量级LLM进行实时动态协调。
技术框架：DrivingAgent的整体架构包括两个主要阶段：设计阶段和调度阶段。在设计阶段，系统通过超网络训练验证模块；在调度阶段，使用经过强化学习训练的LLM进行模块协调，并结合结构化内存管理上下文信息。
关键创新：DrivingAgent的主要创新在于将模块开发与调度过程智能化，能够实时响应环境变化，区别于现有方法将模块视为不透明的黑箱。
关键设计：在设计过程中，DrivingAgent采用了超网络训练来验证模块的有效性，并在调度中使用了轻量级的LLM，结合时间戳短期上下文与长期存储的结构化内存设计。通过这些设计，DrivingAgent实现了高效的模块协调与管理。
🖼️ 关键图片
📊 实验亮点
实验结果表明，DrivingAgent在nuScenes和Bench2Drive基准测试中，速度与准确性的权衡显著优于现有方法，具体表现为在相同条件下，速度提升了XX%，准确率提高了YY%。
🎯 应用场景
DrivingAgent的研究成果在自主驾驶领域具有广泛的应用潜力，能够有效提升系统设计与调度的自动化水平。其智能化的调度机制和模块开发流程可应用于多种实时性要求高的自动化系统，推动智能交通和无人驾驶技术的发展。
📄 摘要（原文）
Many autonomous driving systems are increasingly incorporating foundation models to improve generalization and handle long-tail scenarios. However, this trend introduces two key challenges: (i) the manual and labor-intensive process of designing and integrating new models, and (ii) the lack of intelligent, dynamic scheduling mechanisms to meet strict real-time constraints. While Large Language Model (LLM)-based agents offer a promising avenue for automation, existing frameworks are ill-suited for autonomous driving. Specifically, they fail to distinguish between the fundamentally different requirements of system design and real-time scheduling, treat modules as opaque black boxes, and are not designed for continuous operation. To address these limitations, we propose DrivingAgent, a novel agent framework tailored to the dual challenges of autonomous driving system design and scheduling. In the design phase, DrivingAgent automates module development by interpreting system architecture, generating code, and validating modules via super-network training. In the scheduling phase, it employs a lightweight LLM trained with reinforcement learning to dynamically orchestrate system modules in real time, supported by a structured memory that integrates long-term storage with timestamped short-term context. Experimental results demonstrate that DrivingAgent achieves a superior speed--accuracy trade-off on both the nuScenes and Bench2Drive benchmarks.