Beyond Policy Patches: Distilling RL Specialists into Vision-Language-Action Policies
作者: Zhennan Jiang, Tingying Xie, Shilong Ji, Shu'ang Yu, Tianxing Zhou, Yuhui Chen, Jiahuan Gao, Kaizhi Xie, Yuanfan Xu, Feng Gao, Yu Wang, Haoran Li, Dongbin Zhao, Chao Yu
分类: cs.RO
发布日期: 2026-11-02
备注: 19 pages, 12 figures
💡 一句话要点
提出REPAIR框架以提升视觉-语言-动作策略在精确操作中的表现
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 强化学习 蒸馏训练 机器人操作 多模态学习
📋 核心要点
- 现有的视觉-语言-动作策略在精确操作阶段表现不佳，导致任务失败。
- 提出REPAIR框架，通过专家的动作候选和加权监督，提升VLA策略的执行能力。
- 在六个真实机器人任务中，REPAIR实现了100%的成功率，并降低了末端效应器的抖动。
📝 摘要（中文）
视觉-语言-动作（VLA）策略能够处理长时间操作中的非关键阶段，但在短时间的精确操作阶段表现不佳。轻量级强化学习（RL）专家可以解决这些问题，而无需将RL直接应用于完整的VLA。本文研究如何将这些专家的能力转移到单一的流匹配VLA中。直接模仿专家的执行可能导致动作抖动，无法有效应对自身执行过程中遇到的状态。为此，本文提出了REPAIR框架，该框架结合了离线初始化和在线优化。在每个关键阶段观察时，REPAIR会查询相应专家的多个动作候选，并使用其评估器加权，以构建监督分布。通过共享加权流匹配目标，VLA首先在专家辅助的执行观察上进行训练，然后在自身执行过程中收集的观察上进行训练。实验结果显示，REPAIR在六个真实机器人任务中均实现了100%的成功率，并且在每个任务中均低于专家辅助执行的末端效应器抖动。
🔬 方法详解
问题定义：本文旨在解决视觉-语言-动作（VLA）策略在短期精确操作阶段的失败问题。现有方法在关键阶段无法有效应对状态变化，导致执行不稳定。
核心思路：REPAIR框架通过结合离线初始化和在线优化，利用轻量级强化学习专家的能力，提供多样化的动作候选并进行加权监督，从而提升VLA策略的稳定性和准确性。
技术框架：REPAIR的整体架构包括两个主要阶段：首先在专家辅助的执行中收集观察数据，然后在VLA自身执行中进行优化。每个关键阶段的观察都会查询相应专家的动作候选，并通过评估器加权。
关键创新：REPAIR的核心创新在于其价值引导的蒸馏框架，能够在不直接控制的情况下利用专家的知识进行训练。这一方法有效避免了直接模仿导致的动作抖动问题。
关键设计：REPAIR设计了共享加权流匹配目标作为损失函数，确保VLA在训练过程中能够有效学习到专家的策略，同时在部署时去除专家的控制。
🖼️ 关键图片
📊 实验亮点
在六个真实机器人任务中，REPAIR框架实现了100%的成功率，且在每个任务中末端效应器的抖动均低于专家辅助执行的结果，显示出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动化制造和人机协作等场景。通过提升视觉-语言-动作策略在精确操作中的表现，REPAIR框架能够显著提高机器人在复杂环境中的任务执行能力，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Vision-language-action (VLA) policies can handle noncritical stages of long-horizon manipulation yet fail during short precision-critical phases. Lightweight reinforcement learning (RL) specialists can address these failures without directly applying RL to the full VLA, but retain auxiliary controllers and switching mechanisms at deployment. We study how to transfer their capabilities into a single flow-matching VLA. Direct imitation of specialist rollouts can reproduce action jitter and leave the VLA unprepared for states encountered during its own execution. We introduce REPAIR, a value-guided distillation framework that combines offline initialization with on-policy refinement. At each critical-phase observation, REPAIR queries the corresponding specialist for multiple action candidates and weights them using its critic to construct a supervision distribution. A shared weighted flow-matching objective trains the VLA first on observations from specialist-assisted rollouts, then on observations collected through its own execution. Specialists provide supervision without taking control during on-policy collection and are removed at deployment. Across six real-robot tasks with 30 evaluation trials per task, REPAIR achieves 100% success on all six tasks, with lower mean end-effector jerk than specialist-assisted execution on every task.