BrainWAM: Action-Space Coordination of Semantic Priors and Predictive Dynamics for Autonomous Driving

📄 arXiv: 2608.12854v1 📥 PDF

作者: Bing Zhan, Shuyao Shang, Jiahao Gu, Shuo Lu, Yuan Xu, Zhao Wang, Yida Wang, Xueyang Zhang, Kun Zhan, Lue Fan, Zhaoxiang Zhang

分类: cs.RO, cs.AI, cs.CV

发布日期: 2026-08-13

💡 一句话要点

提出BrainWAM以解决自主驾驶中的语义约束与预测动态协调问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自主驾驶 语义推理 预测动态 动作空间协调 深度学习 智能交通 机器人导航

📋 核心要点

  1. 现有的自主驾驶方法往往只关注语义推理或预测动态，导致在复杂场景下的规划能力不足。
  2. BrainWAM通过将语义推理和预测动态转化为两个专门的路径，解决了注意力分配不均的问题。
  3. 实验结果表明，BrainWAM在NAVSIM基准测试中表现优异，超越了传统的VLA和WAM方法。

📝 摘要（中文）

自主驾驶需要在语义约束和预测动态下进行规划。然而，现有的端到端驾驶方法通常只强调其中一方面：视觉-语言-动作（VLA）模型利用VLM先验进行语义推理，而世界动作模型（WAM）则通过生成世界建模提供未来感知的预测。为此，本文提出了BrainWAM，一个结构化的动作空间协调框架，将语义推理和预测世界建模转化为两个专门的动作导向路径，并在紧凑的动作表示层面进行对齐。此外，论文引入了一种异步修正流推理策略，结合解耦的视频和动作去噪，缩短推理延迟，同时保留与规划相关的预测上下文。BrainWAM在NAVSIM v1（89.5 PDMS）和NAVSIM v2（89.6 EPDMS）上达到了最先进的性能，持续超越仅使用VLA或WAM的方法，突显了BrainWAM在自主驾驶系统中的实际应用潜力。

🔬 方法详解

问题定义：本文旨在解决自主驾驶中语义约束与预测动态之间的协调问题。现有方法在处理复杂场景时，往往存在注意力分配不均的问题，导致规划效果不佳。

核心思路：论文提出的BrainWAM框架通过将语义推理和预测动态分别转化为两个专门的动作导向路径，避免了传统方法中语义快捷方式对预测动态的抑制。

技术框架：BrainWAM的整体架构包括两个主要模块：语义推理模块和预测动态模块。两者在紧凑的动作表示层面进行对齐，以实现有效的协调。

关键创新：BrainWAM的主要创新在于其结构化的动作空间协调框架，能够有效整合语义和动态信息，克服了传统方法的局限性。

关键设计：在设计上，BrainWAM采用了异步修正流推理策略，结合解耦的视频和动作去噪技术，以缩短推理延迟并保持规划相关的预测上下文。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

BrainWAM在NAVSIM v1和v2基准测试中分别达到了89.5 PDMS和89.6 EPDMS的性能，显著超越了仅使用VLA或WAM的方法，展示了其在自主驾驶领域的优越性和实用性。

🎯 应用场景

BrainWAM的研究成果在自主驾驶领域具有广泛的应用潜力，能够提升自动驾驶系统在复杂环境下的决策能力和安全性。未来，该框架还可以扩展到其他需要语义理解与动态预测的智能系统中，如机器人导航和智能交通管理。

📄 摘要（原文）

Autonomous driving requires planning under both semantic constraints and predictive dynamics. Existing end-to-end driving approaches, however, typically emphasize only one side of this requirement: Vision-Language-Action (VLA) models exploit VLM priors for semantic reasoning, while World Action Models (WAMs) provide future-aware prediction through generative world modeling. This naturally motivates a unified planner that can leverage both semantic priors and predictive dynamics. However, we find that a naive combination through joint token-level attention suffers from an attention-allocation mismatch, where semantic shortcuts dominate the shared attention space and suppress predictive dynamics. Inspired by neuroscience evidence that complex behavior arises from coordination among functionally specialized systems, we propose BrainWAM, a structured action-space coordination framework that converts semantic reasoning and predictive world modeling into two specialized action-oriented pathways, and aligns them at the level of compact action representations. We further introduce an asynchronous rectified-flow inference strategy with decoupled video and action denoising, which shortens inference latency while preserving planning-relevant predictive context. BrainWAM reaches state-of-the-art performance on both NAVSIM v1 (89.5 PDMS) and NAVSIM v2 (89.6 EPDMS), consistently outperforming VLA-only or WAM-only methods, highlighting BrainWAM as a practical and promising direction for autonomous driving systems.