FlashDrive: Flash Vision-Language-Action Inference for Autonomous Driving

📄 arXiv: 2608.12932v1 📥 PDF

作者: Zekai Li, Yihao Liang, Hongfei Zhang, Jian Chen, Yesheng Liang, Zhijian Liu

分类: cs.AI

发布日期: 2026-08-13

备注: 15 pages; 8 figures

💡 一句话要点

提出FlashDrive以解决自主驾驶中的VLA推理延迟问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 自主驾驶 推理优化 实时控制 算法-系统协同设计 计算效率 多模态推理

📋 核心要点

  1. 现有的VLA模型在自主驾驶中面临四个主要的计算瓶颈，导致实时控制能力不足。
  2. FlashDrive通过算法与系统的协同设计，针对每个瓶颈提出了轻量级的解决方案，显著提高了推理效率。
  3. 实验结果表明，FlashDrive将端到端延迟降低至151毫秒，提升了系统的实时性和准确性，具有重要的应用价值。

📝 摘要（中文）

视觉-语言-动作（VLA）模型有望为自主驾驶带来端到端推理，但其计算成本仍然过高，无法实现实时控制。本文提出FlashDrive，一个算法-系统协同设计框架，针对VLA推理中的四个主要瓶颈进行优化。通过引入轻量级算法捷径，FlashDrive显著降低了端到端延迟，从717毫秒减少到151毫秒，同时保持了准确性几乎不变。该方法使得10亿参数的VLA推理频率从1.4Hz提升至6.6Hz，推动自主驾驶向实时部署迈进。

🔬 方法详解

问题定义：本文旨在解决自主驾驶中VLA推理的高延迟问题。现有方法在视觉编码、语言模型预填充、推理令牌生成和流匹配去噪等四个阶段存在显著的计算瓶颈，导致实时性不足。

核心思路：FlashDrive的核心思路是针对每个瓶颈设计轻量级算法捷径，以实现整体性能的提升。通过流式KV缓存重用、非自回归扩散解码和自适应步长缓存等技术，优化了计算资源的使用。

技术框架：FlashDrive的整体架构包括四个主要模块：视觉编码、语言模型预填充、推理令牌生成和流匹配去噪。每个模块都采用了特定的优化策略，以降低延迟并提高效率。

关键创新：最重要的技术创新在于同时针对四个推理阶段进行优化，采用了流式缓存重用、非自回归解码和自适应计算步骤等方法，与现有方法相比，显著提升了推理速度。

关键设计：在参数设置上，FlashDrive使用了W4A8量化技术，并在CUDA图编译和内核融合的基础上实现了高效的计算，确保了在保持准确性的同时，极大地降低了延迟。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，FlashDrive将端到端延迟从717毫秒降低至151毫秒，提升幅度达到4.7倍，同时保持了准确性几乎不变，最小ADE在6.4秒时仅变化0.08米，闭环碰撞和越界率在仿真中均有所改善。这些结果表明FlashDrive在实时自主驾驶中的有效性。

🎯 应用场景

FlashDrive的研究成果在自主驾驶领域具有广泛的应用潜力。通过提升VLA模型的推理速度，该方法能够支持更复杂的实时决策和控制任务，推动无人驾驶技术的实际落地。此外，FlashDrive的设计理念和技术框架也可扩展到其他需要高效推理的多模态任务中。

📄 摘要（原文）

Vision-Language-Action (VLA) models promise to bring end-to-end reasoning to autonomous driving, but their computational cost remains far too high for real-time control. The core challenge is structural: VLA inference is not a single bottleneck but a cascade of four. Visual encoding wastes compute on overlapping video frames; language-model prefill recomputes context that could be carried over from the previous timestep; reasoning tokens are generated serially despite low entropy; and flow-matching denoising applies uniform compute to a non-uniform velocity field. Addressing any one stage in isolation leaves the others untouched. We propose FlashDrive, an algorithm-system co-design framework that targets all four stages simultaneously. Our key insight is that each bottleneck admits a distinct, lightweight algorithmic shortcut: temporal overlap enables streaming KV-cache reuse across frames; the low per-token entropy and strong intra-block correlations of driving-domain reasoning make a non-autoregressive diffusion drafter highly effective for speculative decoding; and the velocity field's structure---sharp at the endpoints, flat in the middle---permits adaptive step caching that concentrates compute where it matters. Layered on system-level CUDA Graph compilation and kernel fusion, these techniques compound. Applied to Alpamayo 1.5-10B with W4A8 quantization, FlashDrive reduces end-to-end latency from 717ms to 151ms (4.7x) while leaving accuracy essentially unchanged: minADE6@6.4s shifts by only 0.08m, minADE1 improves, and closed-loop collision and off-road rates improve in simulation. By raising a 10B-parameter reasoning VLA from 1.4~Hz to 6.6~Hz on a single GPU, FlashDrive moves end-to-end autonomous driving substantially closer to real-time deployment.