Object-Centric Residual RL for Zero-Shot Sim-to-Real VLA Enhancement

📄 arXiv: 2606.18953v1 📥 PDF

作者: Kinam Kim, Namiko Saito, Heecheol Kim, Katsushi Ikeuchi, Jaegul Choo, Yasuyuki Matsushita

分类: cs.RO

发布日期: 2026-06-17

备注: 8 pages, 7 figures, 2 tables; 8-page appendix

💡 一句话要点

提出对象中心残差强化学习以解决零-shot模拟到现实的VLA增强问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 残差强化学习 对象中心 模拟到现实 机器人操作 自我改进

📋 核心要点

  1. 现有的模仿学习策略在精确物理交互中容易受到执行误差的影响，导致脆弱性。
  2. 提出的对象中心残差强化学习框架通过对象姿态细化VLA动作，提供了紧凑的观察空间。
  3. 在真实Franka Research 3机器人上，成功率从42%提升至76%，显示出显著的零-shot转移能力。

📝 摘要（中文）

视觉-语言-动作（VLA）模型能够在多样的操作任务中进行泛化，但基于模仿学习的策略在精确的物理交互中仍然脆弱，容易出现执行误差的累积。本文提出了一种对象中心的残差强化学习框架，通过使用对象姿态来细化VLA动作，从而实现了在模拟和现实之间的一致性转移。该方法在五个操作任务中将真实Franka Research 3（FR3）机器人的成功率从42%提升至76%，并且改进后的回放可以进一步用于自我改进，而无需额外的遥操作。

🔬 方法详解

问题定义：本文旨在解决现有VLA模型在真实环境中执行精确操作时的脆弱性，尤其是在模拟到现实的转移过程中，现有方法面临的主要挑战包括特权状态方法的损失蒸馏和图像基础方法的视觉域差距。

核心思路：提出的对象中心残差强化学习框架通过引入对象姿态来细化VLA的动作，从而实现了在模拟和现实之间的有效转移。该方法的设计旨在减少执行误差的累积，提高在真实环境中的鲁棒性。

技术框架：整体架构包括两个主要模块：首先，在模拟环境中训练残差强化学习策略，其次，通过重放相同的遥操作演示来训练真实世界VLA的模拟对应体。

关键创新：本研究的主要创新在于通过对象姿态来构建紧凑的观察空间，实现了模拟到现实的无缝转移，克服了传统方法的局限性。

关键设计：在训练过程中，采用姿态噪声注入和dropout技术来增强模型的鲁棒性，确保残差强化学习策略能够在真实机器人上进行零-shot转移。具体的损失函数和网络结构设计尚未详细披露。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，提出的方法在真实Franka Research 3机器人上成功率从42%提升至76%，表明该对象中心残差强化学习框架在零-shot转移能力方面的显著提升，且改进后的回放可用于进一步自我改进。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化制造和人机协作等。通过提高VLA模型在真实环境中的鲁棒性，该方法能够显著提升机器人在复杂操作任务中的表现，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Vision-Language-Action (VLA) models can generalize across diverse manipulation tasks, but their imitation-learning-based policies remain brittle in precise physical interactions due to compounding execution errors; Can a reinforcement learning policy trained purely in simulation improve the robustness of real-world VLAs zero-shot? Residual RL, which learns a corrective policy on top of a frozen VLA, offers a natural framework, but existing approaches face a fundamental sim-to-real dilemma: privileged-state methods require lossy distillation for deployment; image-based methods suffer from the visual domain gap; and real-world RL is costly and unsafe. We propose an object-centric residual RL framework that refines VLA actions using object poses, enabling a compact observation space that transfers consistently between simulation and reality. To align the two domains, we additionally replay the same teleoperation demonstrations in simulation to train a sim counterpart of the real-world VLA. The residual RL policy is trained only in simulation with pose noise injection and dropout, and transfers zero-shot to the real robot. Across five manipulation tasks on a real Franka Research 3 (FR3) robot, our method improves the success rate from 42% to 76% zero-shot, and the improved rollouts can be further reused to retrain the base VLA for self-improvement without additional teleoperation. Project page: https://www.microsoft.com/en-us/research/articles/object-centric-residual-rl/