Bridging Large-Model Reasoning and Real-Time Control via Agentic Fast-Slow Planning

📄 arXiv: 2604.01681v1 📥 PDF

作者: Jiayi Chen, Shuai Wang, Guangxu Zhu, Chengzhong Xu

分类: cs.RO, cs.AI

发布日期: 2026-04-02

备注: 8 pages, 12figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出Agentic Fast-Slow Planning框架，桥接大模型推理与车辆实时控制。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动驾驶 大模型 实时控制 分层规划 视觉语言模型

📋 核心要点

  1. 现有方法或直接使用LLM生成轨迹，延迟高且难以验证，或在线调整MPC目标，混合慢速推理与快速控制。
  2. Agentic Fast-Slow Planning框架通过分层结构解耦感知、推理、规划和控制，实现不同时间尺度上的协同。
  3. 实验表明，该框架在CARLA中能显著提升鲁棒性，降低横向偏差和完成时间，优于传统MPC方法。

📝 摘要（中文）

本文提出Agentic Fast-Slow Planning框架，旨在桥接大模型推理与实时控制之间的鸿沟。该框架将感知、推理、规划和控制解耦到不同的时间尺度上。框架包含两个桥梁：Perception2Decision利用车载视觉-语言模型（VLM）将场景压缩为自我中心的拓扑结构，然后使用云端LLM决策器将其映射为符号驾驶指令，从而降低带宽和延迟，同时保持可解释性；Decision2Trajectory将指令转换为可执行路径：语义引导的A算法将语言导出的软成本嵌入到经典搜索中，以使解决方案偏向于可行的轨迹，而Agentic Refinement Module使用反馈和记忆来调整规划器的超参数。最后，MPC实时跟踪轨迹，并可选择云引导参考以应对困难情况。在CARLA中的实验表明，Agentic Fast-Slow Planning提高了扰动下的鲁棒性，与纯MPC和A-guided MPC基线相比，横向偏差最多减少45%，完成时间最多减少12%。

🔬 方法详解

问题定义：现有方法在将大型语言模型（LLM）的推理能力应用于自动驾驶系统的实时控制时面临挑战。直接使用LLM生成轨迹计算量大、延迟高，且难以保证轨迹的安全性和可行性。在线调整模型预测控制（MPC）目标则将慢速的推理过程与快速的控制过程混合在一起，导致控制性能下降。

核心思路：Agentic Fast-Slow Planning的核心思路是将自动驾驶任务分解为不同时间尺度的子任务，并使用不同的模块来处理这些子任务。通过解耦感知、推理、规划和控制，可以充分利用LLM的推理能力，同时保证实时控制的性能。该框架通过两个桥梁连接不同的模块：Perception2Decision和Decision2Trajectory。

技术框架：Agentic Fast-Slow Planning框架包含以下主要模块：1) 感知模块：使用车载视觉-语言模型（VLM）将场景压缩为自我中心的拓扑结构。2) 推理模块：使用云端LLM决策器将拓扑结构映射为符号驾驶指令。3) 规划模块：使用语义引导的A*算法将驾驶指令转换为可执行路径，并使用Agentic Refinement Module调整规划器的超参数。4) 控制模块：使用MPC实时跟踪轨迹。

关键创新：该框架的关键创新在于：1) 将自动驾驶任务分解为不同时间尺度的子任务，并使用不同的模块来处理这些子任务。2) 提出了Perception2Decision和Decision2Trajectory两个桥梁，连接不同的模块。3) 提出了语义引导的A*算法，将语言导出的软成本嵌入到经典搜索中。4) 提出了Agentic Refinement Module，使用反馈和记忆来调整规划器的超参数。

关键设计：Perception2Decision模块使用预训练的VLM模型进行场景理解，并使用LLM进行决策。Decision2Trajectory模块中的语义引导A算法使用语言指令作为A搜索的启发式信息，引导搜索过程。Agentic Refinement Module使用强化学习算法学习如何调整规划器的超参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在CARLA模拟器中的实验结果表明，Agentic Fast-Slow Planning框架在扰动下表现出更强的鲁棒性。与纯MPC和A*-guided MPC基线相比，该框架能够将横向偏差最多减少45%，完成时间最多减少12%。这些结果验证了该框架的有效性。

🎯 应用场景

该研究成果可应用于自动驾驶、机器人导航等领域，尤其适用于需要复杂推理和实时控制的场景。通过将大模型的推理能力与实时控制相结合，可以提高系统的智能化水平和鲁棒性，从而提升用户体验和安全性。未来，该框架可以进一步扩展到更复杂的环境和任务中。

📄 摘要（原文）

Large foundation models enable powerful reasoning for autonomous systems, but mapping semantic intent to reliable real-time control remains challenging. Existing approaches either (i) let Large Language Models (LLMs) generate trajectories directly - brittle, hard to verify, and latency-prone - or (ii) adjust Model Predictive Control (MPC) objectives online - mixing slow deliberation with fast control and blurring interfaces. We propose Agentic Fast-Slow Planning, a hierarchical framework that decouples perception, reasoning, planning, and control across natural timescales. The framework contains two bridges. Perception2Decision compresses scenes into ego-centric topologies using an on-vehicle Vision-Language Model (VLM) detector, then maps them to symbolic driving directives in the cloud with an LLM decision maker - reducing bandwidth and delay while preserving interpretability. Decision2Trajectory converts directives into executable paths: Semantic-Guided A embeds language-derived soft costs into classical search to bias solutions toward feasible trajectories, while an Agentic Refinement Module adapts planner hyperparameters using feedback and memory. Finally, MPC tracks the trajectories in real time, with optional cloud-guided references for difficult cases. Experiments in CARLA show that Agentic Fast-Slow Planning improves robustness under perturbations, reducing lateral deviation by up to 45% and completion time by over 12% compared to pure MPC and an A-guided MPC baseline. Code is available at https://github.com/cjychenjiayi/icra2026_AFSP.