PixelPilot: Scalable Vision-Language-Action Models for End-to-End Autonomous Driving

📄 arXiv: 2607.04637v1 📥 PDF

作者: Pin Tang, Guoqing Wang, Xiangxuan Ren, Zhongdao Wang, Guodongfang Zhao, Bailan, Chao Ma

分类: cs.CV

发布日期: 2026-07-06

备注: Accepted by ECCV 2026

💡 一句话要点

提出PixelPilot以解决自主驾驶中的2D到3D预测问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作模型 自主驾驶 2D到3D预测 可扩展性 视觉推理 策略学习 群体相对策略优化

📋 核心要点

  1. 现有的视觉-语言-动作模型在2D到3D轨迹预测中受到相机参数的限制，导致数据可扩展性不足。
  2. PixelPilot通过将场景理解和轨迹预测转化为2D到2D任务，解耦规划与提升，提升了训练的可扩展性。
  3. 实验结果显示，PixelPilot在开放环路和闭环设置中均表现出色，验证了其在视觉推理和可扩展性方面的优势。

📝 摘要（中文）

视觉-语言-动作模型（VLA）利用视觉-语言模型（VLM）的推理能力，在复杂的自主驾驶场景中展现出良好的泛化能力。现有VLA通常从2D图像预测和优化3D轨迹，但这种2D到3D的预测与相机参数紧密相关，导致在异构驾驶数据集上的数据可扩展性受限。此外，直接在3D空间优化会导致收敛到平凡解，VLA依赖于自我状态而非视觉场景理解。为了解决这些问题，我们提出了PixelPilot，这是一种新颖的VLA，采用解耦的规划和提升范式。在规划阶段，PixelPilot将场景理解和轨迹预测重新表述为图像平面上的传感器无关的2D到2D任务，从而促进跨多样数据集的可扩展训练。计划的2D轨迹在推理阶段再提升到3D，确保充分利用视觉线索并在不同车辆间实现泛化。通过知识灌输的策略学习，应用密集的中间奖励，通过群体相对策略优化（GRPO）来强化从视觉感知到空间规划的因果链。大量实验表明，PixelPilot在开放环路和闭环设置中均达到了最先进的性能，验证了其卓越的可扩展性和视觉推理能力。

🔬 方法详解

问题定义：论文要解决的问题是现有视觉-语言-动作模型在2D到3D轨迹预测中存在的相机参数依赖性和数据可扩展性不足的问题。现有方法在3D空间优化时容易收敛到平凡解，缺乏对视觉场景的深入理解。

核心思路：论文的核心思路是将场景理解和轨迹预测重新定义为传感器无关的2D到2D任务，从而在训练过程中实现更好的可扩展性。通过在推理阶段将2D轨迹提升到3D，确保充分利用视觉信息。

技术框架：PixelPilot的整体架构包括两个主要阶段：规划阶段和推理阶段。在规划阶段，模型进行2D到2D的轨迹预测；在推理阶段，利用预测的2D轨迹进行3D提升。

关键创新：最重要的技术创新点在于解耦规划与提升的范式，使得模型在不同数据集上具备更好的可扩展性和泛化能力。这一设计与传统方法的本质区别在于不再直接在3D空间进行优化。

关键设计：在关键设计上，论文采用了知识灌输的策略学习方法，通过群体相对策略优化（GRPO）施加密集的中间奖励，以强化从视觉感知到空间规划的因果链。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PixelPilot在开放环路和闭环设置中均达到了最先进的性能，相较于基线模型，性能提升幅度显著，验证了其在视觉推理和可扩展性方面的优势。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、智能交通系统和机器人导航等。通过提升视觉推理能力和数据可扩展性，PixelPilot能够在多样化的驾驶环境中实现更高效的决策和规划，具有重要的实际价值和未来影响。

📄 摘要（原文）

Vision-Language-Action Models (VLAs), which leverage the advanced reasoning capabilities of Vision-Language Models (VLMs), show promising generalization in complex autonomous driving scenarios. Existing VLAs typically predict and optimize 3D trajectories from 2D images. While intuitive, this 2D-to-3D prediction is inherently entangled with camera parameters, leading to limited data scalability across heterogeneous driving datasets. Moreover, directly optimizing in 3D space induces severe convergence to trivial solutions, where VLAs rely on ego-status rather than visual scene understanding. To address these issues, we propose PixelPilot, a novel VLA featuring a decoupled planning and lifting paradigm. In the planning phase, PixelPilot reformulates scene understanding and trajectory prediction as sensor-agnostic 2D-to-2D tasks in the image plane, thereby facilitating scalable training across diverse datasets. The planned 2D trajectories are then deterministically lifted to 3D only during inference, ensuring the full exploitation of visual cues and generalization across different vehicles. To realize this paradigm, we propose a knowledge-instilled policy learning strategy that applies dense, intermediate rewards via Group Relative Policy Optimization (GRPO) to enforce a rigorous causal chain from visual perception to spatial planning. Extensive experiments demonstrate that PixelPilot achieves state-of-the-art performance in both open-loop and closed-loop settings, validating its superior scalability and visual reasoning capabilities.