Teaching Vision-Language-Action Models What to See and Where to Look

📄 arXiv: 2607.01658 📥 PDF

作者: Yuguang Yang, Canyu Chen, Zhewen Tan, Yizhi Wang, Zichao Feng, Chunyang Liu, Kehua Sheng, Juan Zhang, Linlin Yang, Baochang Zhang, Yan Wang, Bo Zhang, Xianbin Cao

分类: cs.CV

发布日期: 2026-07-05

💡 一句话要点

提出DriveTeach-VLA以解决VLA模型空间依赖性不足问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-行动 自主驾驶 空间依赖性 驾驶感知蒸馏 轨迹引导提示 多模态学习 模型微调

📋 核心要点

  1. 现有的VLA模型训练过于依赖文本中心的视觉问答，缺乏空间依赖性，影响轨迹预测的可靠性。
  2. 提出DriveTeach-VLA框架，通过驾驶感知蒸馏和2D轨迹引导提示，明确教导模型该看什么和如何看。
  3. DriveTeach-VLA在NAVSIM和nuScenes数据集上取得了最先进的性能，展示了其有效性和优越性。

📝 摘要（中文）

视觉-语言-行动（VLA）模型作为端到端自主驾驶的有前景的范式，现有的训练方法过于依赖文本中心的视觉问答和推理数据，导致学习的表示缺乏可靠的空间依赖性。为此，本文提出DriveTeach-VLA框架，明确教导VLA模型该看什么和如何看。通过驾驶感知蒸馏（DVD）将驾驶特定的感知先验注入视觉编码器，同时使用2D轨迹引导提示（2D-TGP）提供与可行驾驶轨迹对齐的空间条件。该框架在NAVSIM和nuScenes上实现了最先进的性能。

🔬 方法详解

问题定义：本文旨在解决现有VLA模型在训练过程中对空间依赖性理解不足的问题，导致轨迹预测不可靠。现有方法主要依赖文本中心的推理，忽视了与实际驾驶相关的视觉信息。

核心思路：DriveTeach-VLA框架通过引入驾驶感知蒸馏（DVD）和2D轨迹引导提示（2D-TGP），明确教导模型在视觉输入中关注重要信息，从而提升模型的空间理解能力和行动规划能力。

技术框架：该框架包括三个主要阶段：首先是DVD预训练阶段，注入驾驶特定的感知先验；其次是TGP引导的微调阶段，提供空间条件；最后是TGP引导的行动生成阶段，结合视觉信息进行决策。

关键创新：最重要的创新在于通过DVD和2D-TGP的结合，显著提升了模型对空间信息的理解能力，与传统的文本中心方法相比，DriveTeach-VLA更注重视觉信息的实际应用。

关键设计：在设计中，DVD模块通过特定的损失函数优化视觉编码器，确保其能够捕捉到驾驶相关的特征；而TGP模块则通过对齐可行轨迹来引导模型的注意力，确保模型在行动生成时考虑到实际的驾驶环境。

📊 实验亮点

在NAVSIM和nuScenes数据集上，DriveTeach-VLA框架实现了最先进的性能，具体提升幅度为XX%（具体数据未知），相较于基线模型，展示了其在轨迹预测和行动规划方面的显著优势。

🎯 应用场景

DriveTeach-VLA框架在自主驾驶领域具有广泛的应用潜力，能够提升自动驾驶系统的决策能力和安全性。通过更好地理解视觉信息与空间关系，该模型可用于复杂环境下的实时导航和路径规划，推动智能交通系统的发展。

📄 摘要（原文）

Vision-Language-Action (VLA) models have emerged as a promising paradigm for end-to-end autonomous driving. However, existing VLAs' training relies heavily on text-centric visual question answering and chain-of-thought reasoning data, which emphasizes linguistic reasoning rather than action-grounded planning. As a result, the learned representations capture semantic knowledge but lack spatial dependencies crucial for reliable trajectory prediction. We propose DriveTeach-VLA, a framework that explicitly teaches VLAs what to see and where to look. Driving-aware Vision Distillation (DVD) injects driving-specific perceptual priors into the vision encoder, while 2D Trajectory-Guided Prompts (2D-TGP) provide spatial conditioning aligned with feasible driving trajectories. Together, they form a vision-guided learning pipeline: what to see (DVD pretraining) - where to look (TGP-guided SFT) - how to act (TGP-guided GRPO). DriveTeach-VLA achieves the state-of-the-art performance on NAVSIM and nuScenes. Our code is available at:this https URL.