DriveStack-VLA: Render-Teacher Alignment for BEV-Based DeepStack Vision-Language-Action Model
作者: Jingke Wang, Zhenru Zhao, Shuangming Lei, Hao Su, Yuehao Huang, Yijia Xie, Kai Tang, Guanglin Xu, AiXue Ye, Yukai Ma, Yong Liu
分类: cs.CV
发布日期: 2026-06-23
💡 一句话要点
提出DriveStack-VLA以解决VLA驾驶模型空间智能不足的问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-行动 空间智能 鸟瞰图表示 渲染教师对齐 多模态轨迹选择
📋 核心要点
- 现有的VLA驾驶模型在空间智能方面存在不足，主要依赖图像令牌和语言先验，导致对复杂场景的理解和安全性关注不足。
- 本文提出DriveStack-VLA框架，通过双重视觉建模组件和渲染教师对齐方法，增强VLA驾驶模型的空间基础和感知一致性。
- DriveStack-VLA在多个基准测试中表现优异，NAVSIMv1和NAVSIMv2分别取得91.6和91.0的PDMS，Bench2Drive上成功率达到56.36%。
📝 摘要（中文）
视觉-语言-行动（VLA）驾驶模型将预训练的视觉-语言模型转化为驾驶策略，能够利用世界知识和语言指导。然而，现有模型在空间智能方面存在不足，主要依赖于图像令牌和语言先验，缺乏对度量几何、场景结构和安全感知线索的关注。为此，本文提出DriveStack-VLA框架，通过双重视觉建模组件增强VLA驾驶的空间基础，注入鸟瞰图表示并提出渲染教师对齐方法，以提高真实图像与光栅化图像的感知聚焦一致性。此外，引入基于头的自我批评模块以优化多模态轨迹选择。DriveStack-VLA在NAVSIMv1上取得91.6的PDMS，在NAVSIMv2上获得91.0的EPDMS，并在闭环Bench2Drive上实现79.49的驾驶得分和56.36%的成功率。
🔬 方法详解
问题定义：本文旨在解决现有VLA驾驶模型在空间智能和感知一致性方面的不足，尤其是在复杂场景下的运动规划和安全性问题。
核心思路：通过引入鸟瞰图表示和渲染教师对齐方法，增强模型对空间信息的理解，确保驾驶策略不仅依赖于图像和语言，还能有效利用几何信息。
技术框架：DriveStack-VLA框架包括两个主要模块：双重视觉建模组件和自我批评模块。前者通过DeepStack风格连接将鸟瞰图注入语言模型解码器，后者用于优化轨迹选择。
关键创新：最重要的创新在于渲染教师对齐方法，该方法有效对齐真实图像与光栅化图像的感知焦点，显著提升了模型的空间理解能力。
关键设计：在模型设计中，采用了特定的损失函数来优化渲染教师对齐，并在自我批评模块中引入了基于头的轨迹排名机制，以确保选择最佳轨迹进行进一步优化。
🖼️ 关键图片
📊 实验亮点
DriveStack-VLA在多个基准测试中表现出色，NAVSIMv1上取得91.6的PDMS，NAVSIMv2上获得91.0的EPDMS，闭环Bench2Drive上实现79.49的驾驶得分和56.36%的成功率，显示出显著的性能提升。
🎯 应用场景
DriveStack-VLA的研究成果可广泛应用于自动驾驶、智能交通系统和机器人导航等领域。通过增强模型的空间智能和感知一致性，该框架能够提高自动驾驶系统在复杂环境中的安全性和效率，具有重要的实际价值和未来影响。
📄 摘要（原文）
Vision-Language-Action driving models convert a pretrained Vision-Language Model into a driving policy, allowing them to use world knowledge and follow language guidances. However, existing VLA driving models still lack driving-oriented spatial intelligence: their policies are mainly grounded on perspective image tokens and language priors, while precise motion planning requires metric geometry, top-down scene structure, and attention to safety-critical perceptual cues. This limitation makes current models vulnerable to weak visual geometry modeling and perceptual coverage in expert demonstrations. In this paper, we present DriveStack-VLA, a framework built upon a large VLM backbone. To strengthen the spatial grounding of VLA driving, we develop dual visual modeling components. We inject a Bird-Eye-View representation into the Large Language Model decoder through a DeepStack-style connection, and propose Render-Teacher Alignment to align the perceptual focus of real images with that of rasterized images. Furthermore, to bridge the gap in multimodal trajectory selection, we introduce a head-based self-critique module that ranks sampled trajectories and conditionally refines the best one. DriveStack-VLA achieves 91.6 PDMS on NAVSIMv1, 91.0 EPDMS on NAVSIMv2 (with the human penalty filter enabled), and a driving score of 79.49 with a success rate of 56.36\% on the closed-loop Bench2Drive. More visualizations are available on our project page: https://anonymous.4open.science/w/drivestack-vla/.