ROAD-VLA: Robust Online Adaptation via Self-Distillation for Vision-Language-Action Models
作者: Kejing Wang, Toan Nguyen, Minh Hoang Nguyen, Simon Khan, Flora D. Salim
分类: cs.LG, cs.RO
发布日期: 2026-06-24
💡 一句话要点
提出ROAD-VLA以解决视觉-语言-动作模型在线适应问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 自蒸馏 在线适应 机器人操作 强化学习
📋 核心要点
- 现有的视觉-语言-动作模型在在线适应过程中面临稀疏奖励导致的弱监督问题，影响了学习效果。
- 本文提出的ROAD-VLA框架通过扰动动作标记logits，利用校准的优势估计来实现自蒸馏，增强了训练信号的密度。
- 在七个机器人操作环境中，ROAD-VLA在几乎所有实验设置下均优于传统的PPO算法，展示了其强大的适应能力。
📝 摘要（中文）
有效的视觉-语言-动作（VLA）模型在线适应仍然面临挑战，因为稀疏奖励为高维自回归动作策略提供了弱监督。尽管自蒸馏理论上可以提供更密集的训练信号，但基于文本的特权教师在适应VLA时效果不佳，暴露了符号指导与低级机器人动作之间的模态差距。为此，本文提出了ROAD-VLA，一个优势引导的自蒸馏框架，通过扰动动作标记的logits与校准的优势估计，直接在动作空间构建近端教师。这将稀疏奖励转化为密集的标记级监督，同时保持教师与当前策略的接近。在七个机器人操作环境中，ROAD-VLA在几乎所有设置下都优于PPO，展示了强大的在线VLA适应能力。
🔬 方法详解
问题定义：本文旨在解决视觉-语言-动作模型在在线适应过程中，由于稀疏奖励导致的弱监督问题。现有方法在利用文本指导进行适应时，常常面临符号与低级动作之间的模态差距，导致适应效果不佳。
核心思路：ROAD-VLA框架的核心思路是通过扰动动作标记的logits，结合校准的优势估计，构建一个近端教师，从而将稀疏奖励转化为密集的标记级监督。这种设计使得教师与当前策略保持接近，增强了学习的有效性。
技术框架：ROAD-VLA的整体架构包括几个主要模块：首先，通过校准的优势估计生成教师信号；其次，扰动动作标记的logits以构建近端教师；最后，利用这些教师信号进行自蒸馏训练，优化当前策略。
关键创新：本文的主要创新在于提出了优势引导的自蒸馏方法，通过直接在动作空间构建教师，克服了传统方法中符号指导与低级动作之间的模态差距。这一创新显著提升了在线适应的效果。
关键设计：在关键设计方面，本文采用了校准的优势估计作为教师信号，并在损失函数中引入了标记级监督。此外，网络结构经过优化，以确保教师与学生策略之间的有效匹配。具体的参数设置和网络架构细节在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
在七个机器人操作环境中，ROAD-VLA在几乎所有设置下均优于PPO算法，展示了其强大的在线适应能力。这一方法在处理分布内和分布外的环境变化时，表现出显著的性能提升，证明了其有效性。
🎯 应用场景
该研究的潜在应用场景包括智能机器人、自动化操作和人机交互等领域。通过提升视觉-语言-动作模型的在线适应能力，ROAD-VLA能够在动态环境中更有效地执行复杂任务，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Effective online adaptation of vision-language-action (VLA) models remains challenging, as sparse rewards provide weak supervision for high-dimensional autoregressive action policies. Although self-distillation can in principle provide denser training signals, we find that text-based privileged teachers conditioned on demonstrations, retrieved experiences, or high-level plans are ineffective for VLA adaptation, exposing a modality gap between symbolic guidance and low-level robot actions. We propose ROAD-VLA, an advantage-guided self-distillation framework that constructs a proximal teacher directly in action space by perturbing action-token logits with calibrated advantage estimates. This converts sparse rewards into dense token-level supervision while keeping the teacher close to the current policy. We further derive a policy-improvement lower bound under calibrated advantages and accurate teacher matching. Across seven robotic manipulation environments with in-distribution and out-of-distribution shifts, ROADVLA outperforms PPO in nearly all settings, demonstrating robust online VLA adaptation.