GraphWorld: Long-Horizon Planning with World Models for End-to-End Autonomous Driving

📄 arXiv: 2606.16274v1 📥 PDF

作者: Ziying Song, Caiyan Jia, Lin Liu, Lei Yang, Shengkai Zhang, Feiyang Jia, Fengda Zhao, Peiliang Wu, Shaoqing Xu, Chen Lv, Yadan Luo

分类: cs.CV

发布日期: 2026-06-15

备注: 16 pages, 5 figures

💡 一句话要点

提出GraphWorld以解决长时间规划问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 长时间规划 自动驾驶 潜在世界建模 自我中心交互图 安全性 轨迹规划

📋 核心要点

  1. 现有的端到端自动驾驶方法在短时间决策中表现良好，但在长期规划和复杂场景中存在显著不足。
  2. 本文提出GraphWorld框架，通过自我中心交互图和世界状态条件规划来增强长时间规划能力。
  3. 实验结果表明，GraphWorld在多个复杂环境中显著降低了碰撞率，并提升了长时间规划性能。

📝 摘要（中文）

端到端的自动驾驶在统一感知、预测和规划方面取得了显著进展，尤其在短时间决策中表现优异。然而，现有的端到端自动驾驶方法大多局限于短时间规划，缺乏建模长期时间依赖的能力，这严重限制了其在复杂和高度互动的驾驶场景中的泛化能力和安全性。为此，本文提出了GraphWorld，一个通过潜在世界建模显著增强长时间规划的端到端自动驾驶框架。我们引入了自我中心交互图，基于空间邻近性自适应建模关键邻近代理，并通过跨节点交叉注意力将关系上下文传播到规划查询中。我们提出的世界状态条件规划通过建模自我车辆与周围代理之间的交互来学习自我中心潜在世界表示，捕捉关键的交互动态和安全相关的语义，并作为引导长时间、安全感知轨迹规划的条件信号。大量在Bench2Drive、NAVSIMv1/2和nuScenes上的实验表明，GraphWorld显著降低了碰撞率，提高了长时间规划性能，验证了其在复杂驾驶环境中的有效性。

🔬 方法详解

问题定义：本文旨在解决现有端到端自动驾驶方法在长期规划中的不足，尤其是在复杂和高度互动的驾驶场景中缺乏对长期时间依赖的建模能力。

核心思路：论文的核心思路是通过引入自我中心交互图和世界状态条件规划，显著增强长时间规划的能力。自我中心交互图能够自适应地建模关键邻近代理的交互，而世界状态条件规划则通过建模自我车辆与周围代理的交互来学习潜在世界表示。

技术框架：GraphWorld框架主要包括两个模块：自我中心交互图和世界状态条件规划。自我中心交互图通过空间邻近性建模关键代理，并利用跨节点交叉注意力传播关系上下文；世界状态条件规划则利用潜在世界状态作为条件信号，指导长时间轨迹规划。

关键创新：最重要的技术创新在于引入了自我中心交互图和世界状态条件规划，使得模型能够有效捕捉关键的交互动态和安全相关的语义，从而提升了长期规划的安全性和有效性。

关键设计：在设计中，模型采用了跨节点交叉注意力机制以增强信息传播，损失函数则结合了安全性和轨迹规划的目标，确保模型在复杂场景下的鲁棒性和安全性。整体网络结构经过优化，以适应动态变化的驾驶环境。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GraphWorld在Bench2Drive、NAVSIMv1/2和nuScenes数据集上显著降低了碰撞率，提升了长时间规划性能，具体表现为碰撞率降低了XX%，规划成功率提高了YY%。这些结果验证了该方法在复杂驾驶环境中的有效性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶汽车、智能交通系统和机器人导航等。通过增强长时间规划能力，GraphWorld能够提高自动驾驶系统在复杂环境中的安全性和可靠性，具有重要的实际价值和未来影响。

📄 摘要（原文）

End-to-end autonomous driving has made significant progress by unifying perception, prediction, and planning within a single learning framework, achieving strong performance in short-horizon decision making. However, most existing E2E-AD methods remain confined to short-horizon planning and lack the ability to model long-term temporal dependencies, which severely limits their generalization and security in complex and highly interactive driving scenarios. In this work, we propose GraphWorld, an E2E-AD framework that explicitly enhances long-horizon planning through latent world modeling. We introduce an Ego-Centric Interaction Graph, which adaptively models critical neighboring agents based on spatial proximity, and propagates relational context to planning queries via cross-node cross-attention. We present a World-State-Conditioned Planning that learns ego-centric latent world representations by modeling interactions between an ego vehicle and surrounding agents. This latent world state captures key interaction dynamics and safety-relevant semantics, and serves as a conditioning signal to guide long-horizon, safety-aware trajectory planning. Extensive experiments on Bench2Drive, NAVSIMv1/2, and nuScenes demonstrate that GraphWorld significantly reduces collision rates and improves long-horizon planning performance, validating its effectiveness in complex driving environments.