LWDrive: Layer-Wise World-Model-Guided Vision-Language Model Planning for Autonomous Driving

📄 arXiv: 2606.29879v1 📥 PDF

作者: Chen Yang, Yuhao Wei, Ze Xu, Ziheng Zou, Shuang Liang, Delin Ouyang, Lingfeng Qi, Jie Li, Guofa Li

分类: cs.CV, cs.AI

发布日期: 2026-06-29

💡 一句话要点

提出LWDrive以解决自主驾驶规划中的轨迹精度不足问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视觉-语言模型 自主驾驶 轨迹规划 未来感知 多视角融合 世界模型 前瞻性学习

📋 核心要点

  1. 现有的视觉-语言模型在自主驾驶轨迹生成中存在精度不足和未来感知能力缺失的问题。
  2. LWDrive框架通过层级世界模型引导，利用VLM生成的粗略计划，逐步细化候选轨迹，提升规划精度。
  3. LWDrive在NAVSIM基准测试中取得92.0的高分，相较于现有方法有显著提升，验证了其有效性。

📝 摘要（中文）

视觉-语言模型（VLMs）为端到端自主驾驶（E2E-AD）规划提供了强大的语义理解和常识推理能力。然而，VLM直接生成的轨迹往往仅编码粗略的驾驶意图，缺乏几何精度、未来感知和多视角基础的规划。为了解决这些局限性，本文提出了层级世界模型引导的驾驶框架LWDrive。LWDrive将VLM的输出视为意图感知的粗略计划，并通过前瞻级联规划器（FCP）逐步细化候选轨迹。通过引入未来帧生成监督，LWDrive鼓励VLM学习前瞻场景表示，注入与规划相关的预测动态。实验结果表明，LWDrive在NAVSIM基准测试中得分92.0，在NAVSIM-v2中得分89.6，展示了其有效性。

🔬 方法详解

问题定义：本文旨在解决现有视觉-语言模型在自主驾驶中生成的轨迹精度不足、缺乏未来感知和多视角支持的问题。现有方法往往只能提供粗略的驾驶意图，无法满足复杂场景下的规划需求。

核心思路：LWDrive框架的核心在于将VLM的输出视为意图感知的粗略计划，并在此基础上扩展候选轨迹空间，通过前瞻级联规划器（FCP）逐步细化候选轨迹。这种设计使得模型能够在保持高层次驾驶意图的同时，结合多视角场景信息进行轨迹优化。

技术框架：LWDrive的整体架构包括多个模块：首先，VLM生成粗略轨迹；其次，FCP利用VLM的多层特征、历史状态和当前帧的多视角鸟瞰图（BEV）特征进行候选轨迹的细化；最后，通过评分头评估细化后的候选轨迹，选择最佳轨迹作为最终输出。

关键创新：LWDrive的主要创新在于引入层级世界模型引导和未来帧生成监督，鼓励VLM学习前瞻场景表示，从而在内部状态中注入与规划相关的动态信息。这一设计与传统方法的本质区别在于其能够更好地结合未来信息进行轨迹优化。

关键设计：LWDrive在模型训练中采用了未来帧生成的监督信号，确保VLM能够学习到有效的前瞻性场景表示。此外，FCP模块整合了多层特征和历史状态信息，以实现更精确的轨迹细化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LWDrive在NAVSIM基准测试中取得了92.0的高分，显著优于现有方法，展示了其在轨迹规划精度和未来感知能力方面的优势。这一成果表明LWDrive在自主驾驶领域的有效性和实用性。

🎯 应用场景

LWDrive的研究成果在自动驾驶领域具有广泛的应用潜力，能够提升自主驾驶系统在复杂城市环境中的决策能力和安全性。通过更精确的轨迹规划，LWDrive可为未来的智能交通系统提供更高效的解决方案，推动自动驾驶技术的进一步发展。

📄 摘要（原文）

Vision-Language Models (VLMs) provide powerful semantic understanding and commonsense reasoning for End-to-End Autonomous Driving (E2E-AD) planning. However, trajectories directly generated by VLMs often encode only coarse driving intentions and remain insufficient for geometrically accurate, future-aware, and multi-view-grounded planning. To address these limitations, we develop the Layer-Wise World-Model-Guided Driving framework (LWDrive). LWDrive is a VLM planning framework that refines coarse trajectories through layer-wise world-model guidance. Instead of treating the VLM output as the final trajectory, LWDrive uses it as an intent-aware coarse plan, expands a diverse candidate space around it, and progressively refines the candidates through a Foresight Cascade Planner (FCP). Specifically, we introduce future-frame generation supervision to encourage the VLM to learn forward-looking scene representations, thereby injecting planning-relevant predictive dynamics into its internal hidden states. Built upon these world-model-supervised representations, FCP exploits VLM features across multiple layers and integrates historical temporal states, Action-Query representations, and current-frame multi-view Bird's-Eye-View (BEV) features to refine candidate trajectories in a coarse-to-fine manner. This design enables progressive correction of spatial positions and motion trends while grounding trajectory refinement with multi-view scene cues and preserving the high-level driving intention produced by the large model. Finally, a score head evaluates the refined candidates and selects the best trajectory as the final planning output. Experiments show that LWDrive achieves a score of 92.0 on the NAVSIM benchmark and 89.6 on NAVSIM-v2. Code and models will be made publicly available.