Continuous Actions from Discrete Minds: Latent-Aligned Planning for End-to-End Autonomous Driving

📄 arXiv: 2609.04070v1 📥 PDF

作者: Ruoyu Yao, Yusen Xie, Qingzhao Liu, Pei Liu, Zewei Yang, Yipeng Zhu, Xiaolong Wang, Jun Ma

分类: cs.CV, cs.RO

发布日期: 2026-09-03

备注: 8 pages, 5 figures

💡 一句话要点

提出LaPla框架以解决自动驾驶中的离散推理与连续动作之间的鸿沟问题

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动驾驶 视觉-语言模型 潜在对齐规划 多模态输入 量化误差消除 轨迹生成 智能交通 机器人导航

📋 核心要点

  1. 现有的视觉-语言模型在处理自动驾驶任务时，面临离散推理与连续动作之间的显著鸿沟，导致性能受限。
  2. 本文提出LaPla框架，通过潜在对齐规划技术，将语义理解与运动执行有效结合，克服了量化误差问题。
  3. 在nuScenes基准测试中，LaPla的长时间预测L2误差降低了15.52%，并在NVIDIA AlpaSim模拟器中成功率提高了33.34个百分点。

📝 摘要（中文）

在自动驾驶领域，如何将视觉-语言模型的离散推理与连续、物理约束的驾驶行为有效结合是一个重大挑战。本文提出了LaPla，一个统一的视觉-语言-动作（VLA）框架，采用潜在对齐规划技术，将语义理解与精确的运动执行无缝连接。通过设计基于残差向量量化变分自编码器（VQ-VAE）的动作标记器，LaPla能够捕捉车辆运动学并将轨迹特征编码到结构化的潜在空间中。该框架在多模态输入的基础上，能够在单次前向传播中同时处理多个动作查询，直接将隐藏状态投影到预训练的VQ-VAE潜在空间中，从而有效消除量化误差，确保物理上合理的轨迹。实验结果表明，LaPla在nuScenes基准测试中表现出色，长时间预测的L2误差降低了15.52%。

🔬 方法详解

问题定义：本文旨在解决视觉-语言模型在自动驾驶中面临的离散推理与连续动作之间的鸿沟，现有方法在量化过程中容易引入误差，影响驾驶性能。

核心思路：LaPla框架通过设计一个基于VQ-VAE的动作标记器，将车辆运动学信息编码到潜在空间中，利用这一表示作为物理先验，消除量化误差并实现高效的动作生成。

技术框架：LaPla的整体架构包括多模态输入处理、动作查询并行处理和潜在空间映射三个主要模块。多模态输入结合了多视角图像、历史动作和文本指令，确保信息的全面性。

关键创新：LaPla的核心创新在于将潜在空间作为物理先验，直接将隐藏状态映射到VQ-VAE潜在空间中，避免了传统方法中的离散查找引入的量化误差。

关键设计：在设计中，采用了残差向量量化变分自编码器（VQ-VAE）作为动作标记器，确保了轨迹特征的结构化编码，并通过冻结解码器实现连续潜在向动作的转换，显著提高了生成效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，LaPla在nuScenes基准测试中实现了15.52%的L2误差降低，相较于现有最先进的VLA方法具有竞争力的开放环性能。此外，在NVIDIA AlpaSim模拟器中的闭环评估中，成功率提高了33.34个百分点，且推理延迟显著降低，展示了其优越的实时性能。

🎯 应用场景

该研究的潜在应用场景包括自动驾驶系统、智能交通管理和机器人导航等领域。通过提高自动驾驶的决策和执行能力，LaPla框架能够为未来的智能交通系统提供更为安全和高效的解决方案，推动自动驾驶技术的实际落地与应用。

📄 摘要（原文）

Bridging the gap between the discrete reasoning of Vision-Language Models and the continuous, physics-constrained nature of autonomous driving remains a significant challenge. In this work, we introduce LaPla, a unified Vision-Language-Action (VLA) framework featuring latent-aligned planning to seamlessly ground semantic understanding in precise motion execution. We first design an action tokenizer based on a residual vector-quantized variational autoencoder (VQ-VAE), capturing vehicle kinematics and encoding trajectory features into a structured latent space. Rather than discrete codebook lookups that inevitably introduce quantization errors, LaPla repurposes this representation as a physical prior to bridge the modality gap between high-dimensional semantics and the raw action space. Specifically, given multimodal inputs integrating multi-view images, historical actions, and textual instructions, LaPla incorporates concurrent action queries to causally attend to the multimodal context in a single forward pass, projecting hidden states directly into the pretrained VQ-VAE latent space. The frozen decoder then translates these continuous latents into actions, effectively eliminating quantization errors and ensuring physically plausible trajectories while bypassing time-consuming autoregressive generation. Extensive experiments on the nuScenes benchmark demonstrate that LaPla achieves competitive open-loop performance, reducing long-horizon L2 error by 15.52% compared to state-of-the-art VLA methods. Closed-loop evaluations on the NVIDIA AlpaSim simulator further confirm its superior capability in ensuring smooth driving progress, improving the success rate by 33.34 percentage points with significantly reduced inference latency.