Plug-and-Play Traffic Element Awareness for End-to-End Autonomous Driving

📄 arXiv: 2608.18035v1 📥 PDF

作者: Zongzheng Zhang, Jijun Wang, Saining Zhang, Shuo Wang, Yiru Wang, Hai Yang, Yang Chen, Yuwen Heng, Hao Sun, Anqing Jiang, Hao Zhao

分类: cs.CV

发布日期: 2026-08-18

备注: Accepted by ECCV 2026; Project Page: https://zzongzheng0918.github.io/TE-Aware-E2E-AD/

💡 一句话要点

提出交通元素感知以提升端到端自动驾驶性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 交通元素感知 端到端自动驾驶 即插即用设计 智能交通系统 模型集成 性能提升

📋 核心要点

  1. 现有端到端自动驾驶研究忽视了交通元素的影响，缺乏系统性量化研究，导致驾驶性能提升受限。
  2. 本文提出了一种即插即用的集成设计，将交通元素信号融入现有自动驾驶模型，支持多种模型架构。
  3. 在多个数据集和现代模型上进行评估，结果显示该方法在驾驶性能上有显著提升，特别是在NAVSIM-v2基准测试中表现突出。

📝 摘要（中文）

交通元素如交通信号灯和路标在驾驶决策中起着基础性作用，然而现有的端到端自动驾驶研究主要集中于动态路面参与者（如车辆和行人），对交通元素的作用探讨较少。本文首次系统性研究了交通元素感知对端到端自动驾驶的影响，构建了一个统一的研究基础设施，通过对多个公共驾驶数据集进行全面的交通元素注释来支持多样化的模型。我们采用最小化和通用的集成设计，将交通元素信号以即插即用的方式融入现有管道，几乎不需要架构修改。实验结果表明，该设计在多个现代模型上均显著提升了驾驶性能，尤其在NAVSIM-v2基准测试中，显著改善了现有的最先进架构和数据管道，确立了新的技术标准。

🔬 方法详解

问题定义：本文旨在解决现有端到端自动驾驶研究中对交通元素（如交通信号灯和路标）影响的忽视，现有方法主要关注动态参与者，缺乏对交通元素的系统性研究。

核心思路：论文提出了一种即插即用的设计，将交通元素信号集成到现有的自动驾驶管道中，几乎不需要对模型架构进行修改，以此来提升驾驶性能。

技术框架：整体架构包括数据集的增强、交通元素信号的集成以及多种模型的评估。具体而言，构建了一个统一的研究基础设施，支持感知-预测-规划管道、视觉-语言-动作模型、回归规划器、扩散策略和轨迹评分框架等。

关键创新：最重要的创新在于提出了交通元素感知的系统性研究，并通过即插即用的方式将其融入到多种现代自动驾驶模型中，显著提升了模型的性能。

关键设计：在集成过程中，采用了最小化的架构修改，确保了与现有模型的兼容性。具体的参数设置和损失函数设计未在摘要中详细说明，需参考完整论文以获取更多技术细节。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个数据集上进行的实验表明，本文提出的方法在所有评估的现代模型中均显著提升了驾驶性能。在NAVSIM-v2基准测试中，方法的表现超越了现有的最先进架构，确立了新的技术标准，显示出交通元素感知的重要性。

🎯 应用场景

该研究的潜在应用领域包括智能交通系统、自动驾驶汽车和城市交通管理等。通过提升自动驾驶系统对交通元素的感知能力，可以显著改善车辆在复杂交通环境中的决策能力，从而提高行车安全性和效率。未来，该方法可能推动更智能的交通管理解决方案的发展。

📄 摘要（原文）

Traffic elements such as traffic lights and road signs play a fundamental role in human driving decisions and should naturally influence end-to-end driving performance. However, existing end-to-end driving research predominantly focuses on dynamic road participants (e.g., vehicles and pedestrians), while the role of traffic elements remains largely unexplored. The community still lacks a systematic study quantifying their impact, largely because public datasets rarely provide structured traffic-element annotations and modern driving systems vary widely in architecture and training paradigm. In this work, we present the first systematic investigation of traffic element awareness for end-to-end autonomous driving. We construct a unified research infrastructure by augmenting multiple public driving datasets with comprehensive traffic-element annotations. To support diverse model families, we adopt a minimal and universal integration design that incorporates traffic-element signals into existing pipelines in a plug-and-play manner with negligible architectural modification. We evaluate this design across modern paradigms, including perception-prediction-planning pipelines, vision-language-action models (VLA), regression-based planners, diffusion-based policies, and trajectory-scoring frameworks, on nuScenes, NAVSIM-v1, NAVSIM-v2, and Bench2Drive. Across all paradigms and datasets, this simple integration consistently improves driving performance, demonstrating that traffic element awareness provides a robust and generalizable signal for end-to-end driving systems. Notably, on the challenging NAVSIM-v2 benchmark, our approach significantly improves state-of-the-art architectures and data pipelines, establishing a new state of the art.