Trust Your Instincts: Confidence-Driven Test-Time RL for Vision-Language-Action Models

📄 arXiv: 2606.29892v1 📥 PDF

作者: Siyao Chen, Jiakang Yuan, Jiaxin Wang, Tao Chen

分类: cs.RO, cs.AI

发布日期: 2026-06-29

💡 一句话要点

提出T^2VLA框架以解决VLA模型缺乏外部反馈的问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作模型 强化学习 自我引导 内在奖励 专家自举机制 多模态学习 策略优化

📋 核心要点

  1. 现有的强化学习方法依赖外部环境反馈，限制了视觉-语言-动作模型的自我改进能力。
  2. 提出T^2VLA框架，通过利用轨迹级相似性作为内在奖励信号，实现自我引导的策略改进。
  3. 实验结果显示，T^2VLA在多个基准测试中超越了监督学习基线，接近oracle RL性能。

📝 摘要（中文）

强化学习（RL）在推动视觉-语言-动作模型（VLA）超越静态模仿学习方面变得不可或缺。然而，现有的RL方法通常依赖外部环境反馈，依靠预定义的成功信号来指导策略更新。本研究表明，VLA模型具备有用的内部评估能力：在离散动作的VLA中，生成置信度较高的轨迹更可能成功。基于这一观察，我们提出了T^2VLA（测试时VLA），这是一个架构无关的测试时RL框架，使VLA模型能够实现自我引导的策略改进。T^2VLA利用与高置信度专家演示的轨迹级相似性作为内在奖励信号，而非依赖外部奖励。此外，我们提出了一种置信度驱动的双专家自举机制，动态平衡局部伪专家用于探索和全球专家池用于训练稳定性。大量实验表明，T^2VLA在LIBERO和RoboTwin基准上始终优于监督基线，并接近使用真实奖励的oracle RL性能，且在没有外部奖励反馈的情况下实现有效改进。

🔬 方法详解

问题定义：本论文旨在解决现有视觉-语言-动作模型（VLA）在强化学习中对外部反馈的依赖问题。现有方法通常依赖预定义的成功信号，限制了模型的自我改进能力。

核心思路：论文的核心思路是利用VLA模型内部的评估能力，通过生成置信度来指导策略改进，而不是依赖外部奖励。通过引入内在奖励信号，模型能够在测试时实现自我引导的策略优化。

技术框架：T^2VLA框架包括两个主要模块：局部伪专家用于探索和全球专家池用于训练稳定性。模型通过轨迹级相似性评估与高置信度专家演示的相似度，从而生成内在奖励信号。

关键创新：最重要的技术创新点在于提出了置信度驱动的双专家自举机制，动态平衡局部和全球专家的作用，显著提高了模型的学习效率和稳定性。与现有方法相比，该机制能够更好地利用模型内部信息。

关键设计：在设计中，论文强调了轨迹级相似性计算的准确性，并通过特定的损失函数来优化内在奖励信号的生成。此外，模型的网络结构经过精心设计，以支持动态平衡机制的实现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，T^2VLA在LIBERO和RoboTwin基准上表现优异，超越了监督学习基线，且在使用真实奖励的情况下接近oracle RL性能，证明了该方法的有效性和创新性。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动驾驶、虚拟助手等多模态交互系统。通过提升VLA模型的自我改进能力，能够在缺乏外部反馈的情况下，增强系统的自主学习和适应能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Reinforcement learning (RL) has become indispensable for pushing Vision-Language-Action Models (VLAs) beyond static imitation learning. However, existing RL methods typically require external environmental feedback, relying on predefined success signals to guide policy updates. In this work, we show that VLA models possess useful internal evaluative capabilities: in discrete-action VLAs, trajectories with higher generation confidence are significantly more likely to succeed. Based on this observation, we introduce T^2VLA (Test-time VLA), an architecture-agnostic test-time RL framework that enables VLA models to achieve self-bootstrapping policy improvement. Instead of relying on external rewards, T^2VLA leverages trajectory-level similarity to high-confidence expert demonstrations as an intrinsic reward signal. In addition, we propose a Confidence-Driven Dual Expert Bootstrapping mechanism, which dynamically balances a Local Pseudo-Expert for exploration and a Global Expert Pool for training stability. Extensive experiments on the LIBERO and RoboTwin benchmarks show that T^2VLA consistently outperforms supervised baselines and approaches oracle RL performance with ground-truth rewards, achieving effective improvement without external reward feedback. Furthermore, T^2VLA adapts to distinct VLA paradigms, including both OpenVLA-OFT and the pi series.