Beyond Imitation: Self-Improving Robot Policies via Off-Policy Q-Planning
作者: Varun Giridhar, Anant Khandelwal, Jeremy A. Collins, Ignat Georgiev, Animesh Garg
分类: cs.RO, cs.LG
发布日期: 2026-08-21
备注: Project page with videos: https://varungiridhar.github.io/qplanning/
💡 一句话要点
提出Q-Planning以解决机器人自我改进问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 行为克隆 强化学习 自我改进 Q-Planning 机器人操作 价值估计 离线学习 多模态学习
📋 核心要点
- 现有的行为克隆方法无法从失败中学习，限制了机器人策略的自我改进能力。
- 论文提出Q-Planning，通过结合离线Q函数与BC策略，实现了价值引导的动作选择和在线自我改进。
- 实验表明，Q-Planning在多个基准测试中显著提升了性能，并在真实任务中实现了自我改进。
📝 摘要（中文）
行为克隆（BC）在机器人操作中取得了显著进展，但其自我改进能力有限，无法从失败中学习。强化学习微调提供了自我改进的路径，但在多亿参数模型中难以扩展。本文提出Q-Planning，通过为大型视觉运动BC策略配备小型离线Q函数，利用Q函数的价值估计能力，吸收成功和失败的部署回滚，从而实现价值引导的动作选择和在线自我改进。实验结果显示，经过十次自我改进，LIBERO和双手RoboTwin的各项基准分数均有所提升，且在真实机器人任务中，系统能够在没有人类干预的情况下，仅通过自身的部署回滚实现显著改进。
🔬 方法详解
问题定义：本文旨在解决现有行为克隆（BC）方法无法从失败中学习的问题。BC策略在面对失败时无法进行自我改进，依赖于额外的人类示范，限制了其应用范围。
核心思路：论文提出Q-Planning，通过引入小型离线Q函数来增强大型BC策略的自我改进能力。Q函数能够估计价值而非简单模仿动作，从而可以在成功示范和失败回滚中进行训练，形成BC所不具备的能力。
技术框架：整体架构包括BC策略和Q函数两个主要模块。BC策略负责初步的行为生成，而Q函数则通过吸收成功和失败的回滚数据来进行价值评估和在线自我改进。推理阶段采用Q加权平均来选择动作。
关键创新：最重要的创新在于利用Q函数的价值估计能力，使得系统能够在没有额外训练的情况下，从失败中学习并进行自我改进。这一方法与传统的强化学习方法相比，避免了对辅助演员的训练需求。
关键设计：在设计中，Q函数的训练采用了成功和失败的回滚数据，损失函数设计为能够有效评估策略的价值。此外，BC策略的权重在自我改进过程中保持不变，仅对Q函数进行微调。具体的网络结构和参数设置在实验中进行了优化。
🖼️ 关键图片
📊 实验亮点
实验结果显示，经过十次自我改进，LIBERO的得分从93%提升至99%，RoboTwin的得分从83.8%提升至91.4%。在真实机器人任务中，堆杯任务的成功率从40%提升至90%，插钱包任务的成功率从25%提升至80%，而仅依赖成功回滚的微调方法则停滞在55%和30%。
🎯 应用场景
该研究的潜在应用领域包括自主机器人操作、智能制造和人机协作等。通过提升机器人在复杂环境中的自我学习能力，能够显著提高其在实际任务中的表现和适应性，推动智能机器人技术的进一步发展。
📄 摘要（原文）
Behaviour Cloning (BC) has driven remarkable progress in robot manipulation, yet it is fundamentally limited by its inability to self-improve: a policy that fails cannot learn from that failure without additional human demonstrations. Reinforcement Learning fine-tuning offers a path to self-improvement but has proven difficult to scale to the multi-billion-parameter models underpinning modern robot policies. We propose Q-Planning, which equips a large visuomotor BC policy with a small off-policy Q-function. Because a Q-function estimates value rather than imitates actions, it can be trained on the same successful demonstrations as the BC policy and later absorb both successful and failed deployment rollouts, an asymmetry BC does not have. We exploit this asymmetry to enable value-guided action selection at inference (a single-step Q-weighted average over BC draws) and online self-improvement that fine-tunes only the Q-function, leaving the BC weights untouched. On LIBERO and bimanual RoboTwin, ten iterations of self-improvement lift every benchmark score we tested (LIBERO-10 93% to 99%, RoboTwin 83.8% to 91.4%) and shorten successful episodes on the near-ceiling suites (LIBERO-Object, LIBERO-Goal). On two contact-rich bimanual real-robot tasks, the same loop (BC frozen, no human intervention) improves purely from its own deployment rollouts: stack-cups 40% to 90% and insert-wallet 25% to 80% in five iterations, whereas SFT on successful rollouts alone stalls at 55% and 30%. Under an identical online budget Q-Planning is the only method, among Best-of-N, filtered SFT, IBRL, DSRL, and DAWR, that improves stably from failures without training an auxiliary actor.