How Much Should a VLA Trust Its Reasoning? Step-Level Guidance as a Measured Action-Value Function

📄 arXiv: 2610.40002v1 📥 PDF

作者: Dabin Seo, Eunhyek Joa

分类: cs.RO, cs.CV, cs.LG

发布日期: 2026-10-29

备注: 6 pages, 2 figures, 4 tables

💡 一句话要点

提出基于步级指导的VLA信任机制以优化决策过程

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-行动 推理机制 动态权重调整 马尔可夫决策过程 自动驾驶 智能控制 多模态交互

📋 核心要点

  1. 现有的VLA策略在推理过程中容易产生错误的推理轨迹，导致错误的决策，且即使是看似正确的推理也可能误导计划。
  2. 论文提出了CoC-CFG方法，通过在推理过程中动态调整权重，来优化决策的信任程度，从而提高策略的表现。
  3. 实验结果表明，该方法在多个场景中超越了传统的固定权重策略和在线强化学习方法，显示出显著的性能提升。

📝 摘要（中文）

本文探讨了视觉-语言-行动（VLA）策略在推理过程中的信任程度，提出了CoC-CFG方法，通过在策略上下文与无推理跨度的同一上下文之间应用无分类器指导，来调节推理的强度。通过将权重选择视为马尔可夫决策过程，论文展示了在Alpasim驾驶模拟器中，该方法在开放环路和闭合环路中均优于现有固定权重和在线强化学习方法，最终在Waymo基准测试中设立了新的性能记录。

🔬 方法详解

问题定义：本文旨在解决VLA策略在推理过程中对决策信任度的调节问题，现有方法往往只关注推理的正确性，而忽视了推理强度对决策的影响。

核心思路：论文提出通过CoC-CFG方法，在推理过程中动态调整权重，以此来控制推理对决策的影响程度，从而优化决策过程。

技术框架：整体架构包括推理轨迹生成、权重调整和决策执行三个主要模块。首先生成推理轨迹，然后根据当前上下文动态调整权重，最后执行决策。

关键创新：最重要的技术创新在于将权重选择视为马尔可夫决策过程，采用测量的行动值而非引导的方式来优化推理强度，这一方法与现有的固定权重策略有本质区别。

关键设计：在设计中，论文设定了每个Euler步骤的权重，w=1时恢复原始策略，采用Q自适应指导来拟合这些值，并在实验中使用了固定的噪声和专家策略进行对比。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，采用CoC-CFG方法的策略在Alpasim驾驶模拟器中，开放环路和闭合环路均超越了所有固定权重和在线强化学习方法。在Waymo基准测试中，该方法在隐藏测试集上获得了8.135159的反馈评分，超过了最佳已发布方法的8.079，设立了新的性能记录。

🎯 应用场景

该研究的潜在应用场景包括自动驾驶、机器人控制和智能助手等领域。通过优化推理过程中的信任机制，可以提升系统在复杂环境中的决策能力，进而提高安全性和效率。未来，该方法有望在更多多模态交互场景中得到应用，推动智能系统的发展。

📄 摘要（原文）

Reasoning vision-language-action (VLA) policies write a reasoning trace and then decode the action from it. A wrong trace yields a wrong action, and even a correct-looking trace can mislead the plan. Existing remedies ask whether the reasoning is right. We ask how strongly it should steer. CoC-CFG applies classifier-free guidance between the policy's context and the same context without the reasoning span. One weight per Euler step attenuates or amplifies the reasoning, and w=1 recovers the original policy. We treat the choice of this weight as a Markov decision process whose action values are measured, not bootstrapped. With the expert frozen and the noise fixed, applying a weight for one step and finishing the plan under the current controller returns that weight's value exactly. Q-adaptive guidance fits these values with small critics and improves the controller conservatively. In the Alpasim driving simulator it outperforms every fixed weight and online RL (SAC, GRPO) in open loop, and in closed loop it passes 262 of 300 scenes, against 252 for the original policy. On held-out frames of the Waymo end-to-end driving benchmark, its first three stages outperform every fixed weight, four adaptive-guidance methods, SAC and GRPO. On the hidden test set, a frozen Alpamayo 1.5 with rule-based camera and vehicle conversions and Q-adaptive guidance sets a new state of the art among published methods: 8.135159 rater feedback score, against 8.079 for the best published method.