Learning Quality-Controllable Robot Policies with Iterative Hindsight Relabeling

📄 arXiv: 2610.37393v1 📥 PDF

作者: Sinjae Kang, Dong Kyu Shin, Jaehong Kim, Kamin Lee, Hyoeun Kim, Kaixin Wang, Li Zhao, Seonghyeon Ye, Kimin Lee

分类: cs.RO, cs.AI, cs.LG

发布日期: 2026-10-27

💡 一句话要点

提出质量可控的机器人策略以解决任务执行质量问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 机器人策略 质量控制 执行质量 动态调整 深度学习

📋 核心要点

  1. 现有的机器人策略评估方法主要依赖于二元成功信号，无法有效考虑执行质量的多维属性。
  2. 本文提出的质量可控策略（QCP）允许在推理时动态控制执行质量属性，提升任务执行的灵活性和适应性。
  3. 实验结果显示，QCP在多个任务中显著提高了执行质量和成功率，超越了初始演示的表现。

📝 摘要（中文）

机器人策略评估通常依赖于二元成功信号来判断任务完成情况。然而，在实际应用中，期望的执行行为还受到执行速度和运动平滑度等质量属性的影响，这些属性需要根据任务要求动态控制。为此，本文提出了质量可控策略（QCP），该策略允许在推理时控制各个质量属性及其组合。为了扩展可控质量范围，本文进一步提出了迭代的事后重标定循环：QCP在目标质量标签下收集在线回放，将成功轨迹添加到数据集中，并根据测量的质量对累积轨迹进行事后重标定，从而微调策略。实验结果表明，QCP在Robomimic和RoboEval上持续提高任务执行质量和成功率，成功回放的质量超越了初始演示。最后，我们在实际操作任务中验证了QCP，控制速度提高了输送操作的吞吐量，控制运输稳定性改善了携带酒杯的成功率，展示了质量可控策略在实际部署中的实际收益。

🔬 方法详解

问题定义：本文旨在解决机器人策略评估中对任务执行质量的单一关注，现有方法无法有效处理执行速度和运动平滑度等多维质量属性的动态控制问题。

核心思路：提出质量可控策略（QCP），通过在推理时控制各个质量属性及其组合，增强机器人在不同任务中的表现。设计迭代的事后重标定循环，以扩展可控质量范围。

技术框架：QCP的整体架构包括数据收集、轨迹重标定和策略微调三个主要模块。首先，收集在线回放数据并标记目标质量；然后，对成功轨迹进行重标定；最后，基于重标定的数据微调策略。

关键创新：最重要的创新在于引入了迭代的事后重标定机制，使得策略能够在实际操作中不断优化，超越初始演示的质量表现。与传统方法相比，QCP能够在执行过程中动态调整质量属性。

关键设计：在设计中，QCP使用了特定的损失函数来平衡不同质量属性的影响，并采用了深度学习网络结构来处理复杂的策略学习任务。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，QCP在Robomimic和RoboEval上成功提高了任务执行质量和成功率，具体表现为成功回放的质量超越了初始演示，且在实际操作中，控制速度提高了输送操作的吞吐量，控制运输稳定性改善了携带酒杯的成功率。

🎯 应用场景

该研究的潜在应用领域包括工业机器人、服务机器人和自动化物流等场景。通过实现质量可控的策略，机器人能够在动态环境中更灵活地执行任务，提高工作效率和安全性，未来可能在智能制造和家庭自动化中发挥重要作用。

📄 摘要（原文）

Robot policy evaluation often relies on a binary success signal for task completion. In real-world deployment, however, desired execution behaviors are also defined by quality attributes such as execution speed and motion smoothness, which need to be dynamically controlled according to task requirements. To address this, we introduce Quality-Controllable Policy (QCP), a robot policy that enables inference-time control over both individual quality attributes and their combinations. To extend the controllable quality range beyond initial demonstrations, we further propose an iterative hindsight relabeling loop: QCP collects online rollouts under target quality labels, adds successful trajectories to the dataset, relabels the accumulated trajectories in hindsight according to their measured quality, and fine-tunes the policy. Experiments on Robomimic and RoboEval demonstrate that QCP consistently improves both task execution quality and success rates across iterations, producing successful rollouts that exceed the quality of the initial demonstrations. Finally, we validate QCP on real-world manipulation tasks, where controlling speed increases throughput in conveyor operations and controlling transport stability improves success when carrying wine glasses, demonstrating that quality-controllable policies yield practical gains in physical deployment.