VLADriveBench: Evaluating CoT-Action Relationship in VLA for Autonomous Driving

📄 arXiv: 2606.12706 📥 PDF

作者: Thach Nguyen, Danhua Guo, Tom Lampo, Fei Wu, Burhan Yaman

分类: cs.CV

发布日期: 2026-06-12

💡 一句话要点

提出VLADriveBench以评估VLA模型中的CoT-Action关系

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-行动 链式思维 自动驾驶 模型评估 因果关系 观察性指标 多模态分析

📋 核心要点

  1. 现有的VLA模型基准仅关注轨迹质量，忽视了CoT与驾驶动作之间的相关性和一致性，导致评估不全面。
  2. 本文提出VLADriveBench框架，结合多种观察性指标和干预协议，全面评估CoT与驾驶动作的关系。
  3. 实验结果显示，模型在观察性对齐和因果性上存在显著差异，揭示了不同模型的CoT特性及其影响因素。

📝 摘要（中文）

视觉-语言-行动（VLA）模型生成的链式思维（CoT）推理与驾驶轨迹相关，但现有基准仅评估轨迹质量，未能考量CoT与驾驶动作的相关性、一致性或因果关系。本文提出VLADriveBench框架，结合观察性指标（提及、幻觉、矛盾、动作对齐）与CoT干预协议，提供CoT-Action关系的多维视角。通过将VLADriveBench应用于三种模型和两种架构，发现两种分析结果可能存在显著差异：ORION在观察性对齐上得分最高，但其CoT是表面现象；而Alpamayo v1.5得分较低，但其CoT具有强因果性，视觉显著性影响CoT的作用程度。

🔬 方法详解

问题定义：本文旨在解决现有VLA模型评估中对CoT与驾驶动作关系的忽视，现有方法无法全面评估CoT的相关性和一致性。

核心思路：提出VLADriveBench框架，通过结合观察性指标与CoT干预协议，提供对CoT-Action关系的多维度评估。这样的设计能够揭示模型在生成CoT时的潜在问题与优势。

技术框架：VLADriveBench框架包括观察性指标（如提及、幻觉、矛盾、动作对齐）和CoT干预协议两个主要模块，分别用于评估CoT的质量和其与驾驶动作的关系。

关键创新：最重要的创新在于将观察性指标与干预协议结合，形成了一个新的评估标准，能够深入分析CoT的因果性与一致性，这在现有方法中尚未实现。

关键设计：在实验中，设置了不同的观察性指标权重，并设计了特定的损失函数以优化CoT的生成质量，确保模型在生成驾驶轨迹时能够有效利用CoT信息。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，ORION在观察性对齐上得分最高，但其CoT并不具备因果性；而Alpamayo v1.5尽管得分较低，却展现出强因果性，表明视觉显著性在CoT影响中的重要作用。这一发现为VLA模型的优化提供了新的视角。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶系统的开发与评估、智能交通管理以及人机交互界面的优化。VLADriveBench框架能够为VLA模型的设计提供重要的评估标准，促进更智能的驾驶决策系统的实现，提升自动驾驶的安全性与可靠性。

📄 摘要（原文）

Vision-language-action (VLA) models generate chain-of-thought (CoT) reasoning alongside driving trajectories, but existing benchmarks evaluate only trajectory quality and do not assess whether the CoT is relevant, consistent, or causally connected to the driving action. We introduce VLADriveBench, a framework that combines observational metrics (mentioning, hallucination, contradiction, action alignment) with a CoT intervention protocol to provide complementary views of the CoT-action relationship. Applying VLADriveBench to three models across two architectures, we find that the two analyses can diverge sharply: ORION scores highest on observational alignment yet its CoT is epiphenomenal, while Alpamayo v1.5 scores lower yet its CoT is strongly causal, with visual salience gating the extent of CoT influence.