Reasoning-aware Speculative Decoding for Efficient Vision-Language-Action Models in Autonomous Driving
作者: Anh Dung Dinh, Simon Khan, Flora Salim
分类: cs.CV
发布日期: 2026-06-30
备注: 10 pages
💡 一句话要点
提出推理感知的投机解码以提升自动驾驶中的视觉-语言-动作模型效率
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 自动驾驶 推理优化 投机解码 深度学习 多模态融合
📋 核心要点
- 核心问题：现有的视觉-语言-动作规划器在推理步骤上存在显著的延迟，影响了自动驾驶的实时性。
- 方法要点：论文提出将推理过程分为常规推理器和深思推理器，以分别处理可预测和新颖的情况，从而加速推理。
- 实验或效果：通过引入FlatRoPE和AARL技术，推理步骤的运行时间减少了约4倍，显著提升了效率。
📝 摘要（中文）
现代的视觉-语言-动作（VLA）规划器在生成轨迹之前会进行因果推理（CoC），这一推理过程是自回归的，导致推理延迟较高，而轨迹生成则是并行且成本较低的。由于延迟是自动驾驶中的一个操作约束，因此加速推理步骤是本文的核心问题。我们观察到CoC推理有两种不同的需求：大多数令牌处理常规的、自然延续的设置，而少部分则需要关于意外情况的新视觉证据。为此，我们将推理分为两个专门路径：常规推理器和深思推理器，前者处理可预测的延续，后者处理新情况。我们提出了两种技术来实现这一点，最终使推理步骤的运行时间相较于原始的Alpamayo规划器减少约4倍。
🔬 方法详解
问题定义：本文旨在解决现代视觉-语言-动作（VLA）规划器在自动驾驶中推理步骤的高延迟问题。现有方法的推理过程是自回归的，导致推理时间过长，影响整体性能。
核心思路：论文提出将推理过程分为两个专门的路径：常规推理器处理可预测的情况，而深思推理器处理新颖的情况。这样的设计旨在通过分工合作来加速推理过程，提高效率。
技术框架：整体架构包括两个主要模块：常规推理器和深思推理器。常规推理器关注于轨迹历史，深思推理器则关注当前的视觉证据。两者通过投机解码框架进行协作。
关键创新：最重要的技术创新在于常规推理器并不是目标模型的缩小版，而是专门设计来读取不同部分的提示信息。这种设计使得推理过程更加高效。
关键设计：引入了FlatRoPE作为一维旋转位置嵌入，打破了目标模型3D M-RoPE的旋转对称性，重定向注意力；同时，采用了行动质量奖励的后训练阶段AARL，结合静态参考KL锚点，以进一步优化性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，提出的两推理器系统使得推理步骤的运行时间减少了约4倍，相较于原始的Alpamayo规划器，显著提升了推理效率，验证了方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶系统中的实时决策与规划，能够有效提升车辆在复杂环境中的反应速度和决策质量。未来，该方法可能对智能交通系统和无人驾驶技术的发展产生深远影响。
📄 摘要（原文）
Modern Vision-Language-Action (VLA) planners for autonomous driving emit a chain-of-causation (CoC) reasoning step \emph{before} producing a trajectory. The reasoning is autoregressive and dominates inference latency, while the trajectory head is parallel and cheap. Latency is an operational constraint in autonomous driving, so accelerating the reasoning step is the central problem we address. We observe that CoC reasoning has two qualitatively different needs: most tokens continue routine setup that follows naturally from the ego-trajectory history, and a small fraction encode commitments that require fresh visual evidence about an unexpected situation. We split this reasoning into two specialized paths: a \emph{routine reasoner} that handles the predictable continuation by attending to trajectory history, and a \emph{deliberative reasoner} (the unmodified VLA target) that handles novel cases by attending to current visual evidence, using the speculative decoding framework as the architectural template for how the two paths cooperate. Unlike standard speculative decoding, our routine reasoner is not a smaller replica of the target; the two reasoners are deliberately specialized to read different parts of the prompt. We propose two techniques to realize this. First, we introduce \textbf{FlatRoPE}, a 1D rotary positional embedding in the draft that breaks the rotational symmetry of the target's 3D M-RoPE, redirecting attention away from visual tokens and onto trajectory-history tokens. Second, we introduce \textbf{Action-aware RL (AARL)}, a post-training stage that uses an action-quality reward together with a static-reference KL anchor. Together, our two-reasoner system reduces the reasoning-step running time by approximately $4\times$ relative to the original Alpamayo planner.