FORCE: Efficient VLA Reinforcement Fine-Tuning via Value-Calibrated Warm-up and Self-Distillation

📄 arXiv: 2606.26006v1 📥 PDF

作者: Shuyi Zhang, Yunfan Lou, Hongyang Cheng, Yichen Guo, Chuyao Fu, Yaoxu Lyu, Xiaojie Zhang, Haoran Li, Pengwei Wang, Zhongyuan Wang, Shanghang Zhang

分类: cs.RO, cs.AI

发布日期: 2026-06-24

💡 一句话要点

提出FORCE框架以解决VLA模型强化学习中的样本效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 强化学习 样本效率 策略更新 自蒸馏 机器人技术 Q函数 在线学习

📋 核心要点

  1. 现有VLA模型在强化学习微调中面临样本效率低下和初始不稳定性的问题，导致性能受限。
  2. FORCE框架通过价值校准热身和自蒸馏技术，稳定Q函数并优化策略更新过程，显著提升样本效率。
  3. 实验结果显示，FORCE在成功率上提升79%，超越传统RL方法10%，并加速训练过程，表现出色。

📝 摘要（中文）

视觉-语言-动作（VLA）模型常受到次优数据带来的模仿上限限制。尽管强化学习（RL）微调可以超越这一限制，但其样本效率低下的问题依然突出。本文提出FORCE，一个三阶段框架，通过解决初始不稳定的Q函数和低质量探索数据导致的策略更新效率低下的问题，来稳定微调过程。FORCE首先引入价值校准热身阶段，利用在线回放减少Q函数的分布偏移。随后，在在线阶段，校准后的Q函数作为过滤器，仅使用高价值动作进行策略更新。实验表明，FORCE在多个仿真和现实任务中取得79%的成功率绝对提升，超越了之前的RL方法10%，并加速训练32.5%。

🔬 方法详解

问题定义：本文旨在解决视觉-语言-动作（VLA）模型在强化学习微调中面临的样本效率低下和初始不稳定性的问题。现有方法常因不稳定的Q函数和低质量的探索数据导致策略更新效率低下，迫使依赖昂贵的人类干预。

核心思路：FORCE框架的核心思路是通过三阶段的设计来稳定微调过程。首先，通过价值校准热身阶段减少Q函数的分布偏移，接着在在线阶段利用校准后的Q函数过滤高价值动作，确保策略更新的有效性。

技术框架：FORCE框架分为三个主要阶段：1) 价值校准热身阶段，使用在线回放减少Q函数的分布偏移；2) 在线阶段，校准后的Q函数作为过滤器，确保策略更新只使用高价值动作；3) 自蒸馏阶段，进一步优化策略。

关键创新：FORCE的主要创新在于引入了价值校准热身和自蒸馏技术，显著提高了样本效率和策略更新的稳定性。这与传统的强化学习方法相比，减少了对人类干预的依赖。

关键设计：在设计中，FORCE使用了特定的损失函数来优化Q函数，并通过精心选择的参数设置来确保在线回放的有效性。此外，网络结构经过优化，以支持高效的策略更新和自蒸馏过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，FORCE在多个任务中取得79%的成功率绝对提升，超越了之前的强化学习方法10%。此外，训练速度提升32.5%，有效解决了常见的成功率下降问题，展现出强大的稳定性和效率。

🎯 应用场景

FORCE框架在机器人自主学习和决策制定中具有广泛的应用潜力。其高效的样本利用率和稳定的策略更新能力，使得机器人能够在复杂环境中自主执行任务，减少对人类干预的需求，推动智能机器人技术的实际应用和发展。

📄 摘要（原文）

Vision-Language-Action (VLA) models are often constrained by the imitation ceiling imposed by sub-optimal data. While Reinforcement Learning (RL) fine-tuning can surpass this limit, it is notoriously sample inefficient. This challenge arises from two core issues: (1) catastrophic initial unlearning due to an unstable Q-function and (2) inefficient policy updates caused by low-quality exploration data, often forcing a reliance on costly human interventions. We introduce FORCE, a 3-stage framework that stabilizes fine-tuning by tackling both issues. FORCE first incorporates a Value-Calibrated Warm-Up phase, utilizing on-policy rollouts to mitigate the distributional shift of the Q-function. Subsequently, during the online stage, this calibrated Q-function acts as a filter for both the policy's own action proposals and expert data, ensuring only high-value actions are used for the policy update. We evaluate FORCE on various simulation and real-world tasks, and the result shows that FORCE achieves a 79% absolute improvement in success rates and outperform prior RL methods by 10%, while accelerating training by 32.5%. Critically, it mitigates the common success rate drop and achieves this robust performance without human intervention, marking a significant step towards deploying capable and autonomous robotic agents.