WARP-RM: A Warp-Augmented Relative Progress Reward Model for Data Curation

📄 arXiv: 2606.28320v1 📥 PDF

作者: Justin Yu, Andrew Goldberg, Kavish Kondap, Karim El-Refai, Ethan Ransing, Qianzhong Chen, Mac Schwager, Fred Shentu, Philipp Wu, Ken Goldberg

分类: cs.RO

发布日期: 2026-06-26

💡 一句话要点

提出WARP-RM以解决数据策划中的示范质量问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 模仿学习 自监督学习 机器人操作 数据策划 奖励模型 时间扭曲 行为克隆

📋 核心要点

  1. 现有的模仿学习方法在处理混合质量示范时面临挑战，尤其是标签噪声和昂贵的人工注释需求。
  2. 本文提出WARP算法，通过时间扭曲增强生成相对进度量，进而训练WARP-RM预测帧间经过时间。
  3. 在物理双手机器人系统上进行的实验中，WARP-BC在低质量数据集上成功率为19/20，而传统方法仅为2/20，提升显著。

📝 摘要（中文）

随着模仿学习的扩展，需要大量数据集，而人类遥控操作不可避免地产生混合质量的示范，包含犹豫和恢复。现有的帧级进度奖励模型依赖绝对时间进度代理，容易受到标签噪声影响，或需要昂贵的人类注释来定义子任务边界。本文提出WARP（Warp-Augmented Relative Progress），一种全自监督算法，直接从成功示范中学习密集的相对进度量。WARP通过对示范进行时间扭曲增强生成每帧进度目标，并训练WARP-RM预测输入帧之间的标准化经过时间。通过聚合这些预测，获得密集的帧级进度信号。我们还引入WARP-BC，利用这些标量奖励估计在行为克隆中加权高优势动作块。实验表明，WARP-BC在处理低质量数据时表现出色，成功率显著高于传统方法。

🔬 方法详解

问题定义：本文旨在解决模仿学习中由于人类遥控操作导致的示范质量不均的问题。现有方法依赖绝对时间进度代理，容易受到标签噪声的影响，且需要昂贵的人类注释来定义子任务边界。

核心思路：提出WARP（Warp-Augmented Relative Progress）算法，通过时间扭曲增强生成每帧的相对进度量，利用自监督学习直接从成功示范中提取信息。

技术框架：WARP算法的整体流程包括时间扭曲增强、帧间经过时间预测和奖励信号聚合。首先对示范进行时间扭曲，生成多样化的训练样本；然后训练WARP-RM模型预测帧间的标准化经过时间；最后聚合这些预测以获得密集的帧级进度信号。

关键创新：WARP算法的核心创新在于其自监督学习机制，能够直接从示范中学习相对进度，而不依赖于绝对时间标签或昂贵的人工注释。这一方法显著提高了模仿学习的效率和鲁棒性。

关键设计：在模型设计中，WARP-RM使用了特定的损失函数来优化预测精度，并通过聚合机制增强了奖励信号的密度。此外，时间扭曲的参数设置使得模型能够适应不同的示范质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在物理双手机器人系统的实验中，WARP-BC在处理低质量数据集时成功率达到19/20，而传统的行为克隆方法仅为2/20，显示出高达18倍的吞吐量提升，证明了WARP算法的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化制造和人机协作等场景。通过提高模仿学习的效率和鲁棒性，WARP-RM能够在实际应用中更好地处理复杂任务，降低对高质量示范的依赖，推动智能机器人技术的发展。

📄 摘要（原文）

Scaling imitation learning requires large datasets, yet human teleoperation inevitably produces mixed-quality demonstrations containing hesitations and recoveries. Prior frame-level progress reward models supervise on absolute temporal progress proxies that suffer from label noise, or require costly human annotations to define subtask boundaries. We present WARP (Warp-Augmented Relative Progress), a novel fully self-supervised algorithm for learning dense, signed relative progress magnitudes directly from successful demonstrations. WARP generates per-frame progress targets via time-warp augmentations of demonstrations (variable playback speeds and reversals) and we train WARP-RM to predict the normalized elapsed time between input frames. Aggregating these predictions across overlapping windows yields a dense frame-level progress signal. We then introduce WARP-BC, which leverages these scalar reward estimates to upweight high-advantage action chunks during behavior cloning, where chunk-level advantage is obtained by aggregating per-frame rewards. We evaluate our approach on a physical bimanual robot system performing a long-horizon deformable object manipulation task: folding T-shirts from a random crumpled start. To evaluate policy robustness against suboptimal data, we construct training datasets of varying quality using episode length as a proxy for teleoperation sub-optimality. As the dataset is widened to admit more inefficiencies, WARP-BC maintains a 19/20 success rate compared to vanilla BC's collapse to 2/20, improving throughput by up to 18x.