HiL-ResRL: A Model-Agnostic Finetuning Adapter via Human-in-the-loop Residual Reinforcement Learning

📄 arXiv: 2606.22860v1 📥 PDF

作者: Jingyi Liu, Zhaohong Mai, ShunSen He, Hang Ren, Chao Wang, Shunbo Zhou, XiaoDong Wu, Heng Zhang

分类: cs.RO

发布日期: 2026-06-22

备注: 8 pages, 9 figures

💡 一句话要点

提出HiL-ResRL以解决行为克隆模型在工业应用中的局限性

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 行为克隆 强化学习 机器人操作 视觉-语言-动作 人机协作 模型无关 微调适配器

📋 核心要点

  1. 现有的行为克隆模型在实际应用中面临累积误差和分布偏移等挑战，限制了其有效性。
  2. 提出了一种模型无关的微调管道，通过训练残差策略来纠正次优动作，并引入人机协作以提高训练效率。
  3. 实验结果显示，在1.5小时的在线训练中，模型在真实机器人上的成功率超过95%，展现了良好的应用潜力。

📝 摘要（中文）

近年来，生成模仿学习的进展显著推动了机器人操作领域的发展。然而，现有模型大多依赖行为克隆（BC），这一范式存在累积误差和分布偏移的问题，限制了其在实际工业应用中的有效性。为了解决这些挑战，我们提出了一种新颖的、即插即用的微调管道，旨在促进视觉-语言-动作（VLA）模型在真实环境中的稳健部署。与现有的强化学习（RL）微调策略不同，我们的框架是模型无关的，适用于多种VLA模型。我们将VLA生成的动作视为统一接口，并训练一个残差策略，以纠正次优动作并应对模仿学习中的分布偏移。此外，我们引入了人机协作指导，以确保安全探索并最大化训练效率。实验结果表明，在仅1.5小时的真实在线RL训练中，成功率超过95%。

🔬 方法详解

问题定义：本论文旨在解决行为克隆模型在工业应用中的局限性，尤其是由于累积误差和分布偏移导致的性能下降问题。现有方法往往依赖于特定模型架构，限制了其适用性。

核心思路：我们提出了一种模型无关的微调框架，通过将VLA生成的动作视为统一接口，训练一个残差策略来纠正次优动作。这种设计旨在提高模型的适应性和鲁棒性。

技术框架：整体架构包括数据采集、VLA模型生成、残差策略训练和人机协作指导四个主要模块。数据采集用于获取真实环境中的反馈，VLA模型生成则提供初步的动作建议。残差策略通过对生成动作进行微调来提升性能，而人机协作则确保探索过程的安全性。

关键创新：本研究的主要创新在于提出了一种模型无关的微调适配器，能够适应多种VLA模型，并通过残差策略有效应对模仿学习中的分布偏移问题。这与现有方法的架构限制形成了鲜明对比。

关键设计：在训练过程中，我们设置了特定的损失函数以优化残差策略，同时采用了高效的在线训练机制，以确保在真实环境中快速收敛。网络结构设计上，残差策略与VLA模型的输出紧密结合，以实现更好的动作纠正效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在仅1.5小时的真实在线强化学习训练中，模型在真实机器人上的平均成功率超过95%。这一结果显著高于传统行为克隆方法，展示了我们提出的框架在实际应用中的有效性和潜力。

🎯 应用场景

该研究的潜在应用领域包括工业机器人操作、自动化生产线和智能制造等。通过提高行为克隆模型在真实环境中的适应性和鲁棒性，能够显著提升机器人在复杂任务中的表现，推动智能制造的进一步发展。

📄 摘要（原文）

Recent advancements in generative imitation learning have significantly propelled the field of robotic manipulation. However, the majority of existing models rely heavily on Behavior Cloning (BC), a paradigm that suffers from compounding errors and distributional shift. Consequently, the efficacy of these models in practical industrial deployments remains limited. To address these challenges, we introduce a novel, plug-and-play fine-tuning pipeline designed to facilitate the robust deployment of Vision-Language-Action (VLA) models in real-world environments. In contrast to contemporary reinforcement learning (RL) fine-tuning strategies, which are often constrained by specific model architectures, our proposed framework is model-agnostic and adaptable to a diverse range of VLA models. We conceptualize VLA-generated actions as a unified interface, upon which we train a residual policy. This policy is designed to rectify suboptimal actions and address the distributional shift inherent in imitation learning. Additionally, we incorporate human-in-the-loop guidance to ensure safe exploration and maximize training efficiency. We conduct experiments directly in real-world robotic settings. The results demonstrate that within only 1.5 hour of real-world online RL training, the average success rate exceeds 95% on real robots. Our work presents a practical solution for deploying behavior cloning models in industrial scenarios.