VLGA: Vision-Language-Geometry-Action Models for Autonomous Driving

📄 arXiv: 2606.12396v1 📥 PDF

作者: Jin Yao, Dhruva Dixith Kurra, Tom Lampo, Zezhou Cheng, Danhua Guo, Burhan Yaman

分类: cs.CV, cs.RO

发布日期: 2026-06-10

备注: Project page: https://yaojin17.github.io/VLGA/

💡 一句话要点

提出VLGA模型以解决自动驾驶中的3D场景理解问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 自动驾驶 3D重建 多模态融合 深度学习

📋 核心要点

  1. 现有的视觉-语言-动作模型在将动作与密集3D环境结合时存在显著不足，无法有效利用几何信息。
  2. VLGA模型通过引入几何作为第四模态，并使用点图回归损失进行监督，解决了现有方法的局限性。
  3. 在nuScenes和Bench2Drive数据集上的实验结果显示，VLGA在多个指标上超越了现有VLA方法，尤其在开放环评估中表现突出。

📝 摘要（中文）

视觉-语言-动作（VLA）模型能够用语言描述场景并进行推理，但在将动作与周围密集的3D世界结合时仍面临挑战。现有方法要么使用冻结的3D基础模型特征而缺乏有效的目标约束，要么通过稀疏的框和地图损失来限制几何信息，无法提供密集的空间信号。本文提出了VLGA，这是第一个通过重建其行驶的密集3D世界进行监督的视觉-语言-动作模型。VLGA将几何信息作为视觉、语言和动作之外的第四种模态引入，并通过每像素点图回归损失进行监督。大量在nuScenes和Bench2Drive数据集上的实验表明，VLGA在开放环和闭环评估中均优于现有VLA方法。

🔬 方法详解

问题定义：本文旨在解决现有视觉-语言-动作模型在密集3D环境中动作与场景结合的不足，现有方法缺乏有效的几何信息利用。

核心思路：VLGA模型通过将几何信息作为第四模态引入，并通过点图回归损失进行监督，确保模型能够有效重建3D世界，从而增强动作的空间理解能力。

技术框架：VLGA的整体架构包括视觉、语言、动作和几何四个模态，采用多模态融合技术，结合深度学习网络进行特征提取和决策制定。

关键创新：VLGA的主要创新在于将几何信息作为独立模态引入，并通过每像素的点图回归损失进行监督，这与传统方法的稀疏损失设计形成鲜明对比。

关键设计：模型采用了高效的网络结构，设置了针对每个模态的特定损失函数，特别是点图回归损失，确保了几何信息的密集利用。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在开放环评估中，VLGA在nuScenes数据集上实现了新的最优性能，L2误差为0.50米，3秒碰撞率为0.18%。在闭环评估的Bench2Drive数据集中，VLGA获得了79.08的驾驶评分，比最强的先前VLA方法提高了0.71，且在效率和舒适性方面表现相当。

🎯 应用场景

VLGA模型在自动驾驶领域具有广泛的应用潜力，能够提升车辆在复杂环境中的决策能力和安全性。通过更好地理解和重建3D场景，未来可应用于智能交通系统、无人驾驶汽车等多个领域，推动自动驾驶技术的进步。

📄 摘要（原文）

Vision-language-action (VLA) models can describe scenes and reason about them in language, yet still struggle to ground their actions in the dense 3D world around them. Existing approaches either inject features from a frozen 3D foundation model without an objective that ensures the policy uses them, or constrain geometry with sparse box and map losses that provide no dense spatial signal. We introduce VLGA, the first vision-language-action model supervised to reconstruct the dense 3D world it drives through. VLGA introduces geometry as a fourth modality alongside vision, language, and action through a dedicated expert supervised by a per-pixel pointmap regression loss against LiDAR. Extensive experiments conducted on challenging nuScenes and Bench2Drive datasets for open-loop and closed-loop evaluations, respectively, show the superiority of VLGA over counterpart VLA methods. In particular, on open-loop nuScenes, VLGA sets a new state of the art among VLA methods without ego status, with the lowest L2 (0.50\,m average) and 3-second collision rate (0.18\%). On closed-loop Bench2Drive, VLGA attains the state-of-the-art driving score of 79.08, +0.71 over the strongest prior VLA, at comparable efficiency and comfort.