Rank-Then-Act: Reward-Free Control from Frame-Order Progress

📄 arXiv: 2607.01897v1 📥 PDF

作者: Yuriy Maksyuta, George Bredis, Ruslan Rakhimov, Daniil Gavrilov

分类: cs.LG, cs.AI

发布日期: 2026-07-02

备注: 20 pages, 15 figures

💡 一句话要点

提出Rank-Then-Act框架以解决无奖励控制问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 无奖励学习 视频理解 序数评分 强化学习 跨任务迁移 视觉-语言模型 组相对策略优化

📋 核心要点

  1. 现有方法在无奖励控制任务中依赖于环境反馈，限制了其在多样化任务中的适用性和灵活性。
  2. RTA框架通过视觉-语言模型训练序数评分器，利用进度排名而非绝对奖励信号来指导策略学习。
  3. 在多个离散和连续控制基准上，RTA的表现与现有视频奖励学习方法相当或更优，展示了强大的跨任务重用能力。

📝 摘要（中文）

我们提出了Rank-Then-Act (RTA)框架，通过专家视频演示学习控制策略，而无需环境奖励。RTA离线训练视觉-语言模型(VLM)作为基于进度的序数评分器，采用组相对策略优化(GRPO)目标在打乱的帧序列上进行训练，迫使模型从视觉语义中恢复时间顺序，而非依赖简单的时间线索。重要的是，我们提出了一种基于相关性的奖励函数，用于强化学习：在每个交互窗口中，我们计算预测的进度排名与真实时间索引之间的斯皮尔曼等级相关性，从而产生一个有界、尺度不变的学习信号。这一设计将奖励学习与绝对标定解耦，能够在任务和环境之间实现稳定的迁移。

🔬 方法详解

问题定义：本论文旨在解决在无环境奖励的情况下，如何从专家视频演示中有效学习控制策略的问题。现有方法通常依赖于明确的奖励信号，限制了其在多样化任务中的应用。

核心思路：论文提出的Rank-Then-Act框架通过训练视觉-语言模型作为进度评分器，利用视频帧的序数信息来指导策略学习，而不是依赖于绝对的奖励信号。这样的设计使得模型能够从视觉语义中恢复时间顺序，增强了学习的灵活性和适应性。

技术框架：RTA的整体架构包括离线训练的视觉-语言模型、基于组相对策略优化的评分机制，以及基于斯皮尔曼等级相关性的奖励函数。模型首先在打乱的帧序列上进行训练，然后在交互过程中利用评分器输出的排名信息来指导策略更新。

关键创新：RTA的主要创新在于引入了基于相关性的奖励函数，这一设计将奖励学习与绝对标定解耦，允许模型在不同任务和环境中稳定迁移。与传统方法相比，RTA能够有效利用视频中的序数信号进行策略学习。

关键设计：在训练过程中，使用了组相对策略优化(GRPO)作为损失函数，确保模型能够从打乱的帧序列中恢复时间顺序。此外，斯皮尔曼等级相关性被用作奖励信号，提供了一个有界且尺度不变的学习信号，增强了模型的稳定性。具体的网络结构和参数设置在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个离散控制基准（如PyBoy: Catrap, Kirby）和连续控制任务（如PointMaze, MetaWorld）上，RTA的表现与现有视频奖励学习方法相当或更优，展示了强大的跨任务重用能力，进一步验证了基于相关性的奖励信号的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、视频分析等。通过无奖励的学习方式，RTA框架能够在多种复杂环境中实现灵活的策略学习，降低了对明确奖励设计的依赖，具有广泛的实际价值和未来影响。

📄 摘要（原文）

We introduce Rank-Then-Act (RTA), a framework for learning control policies from expert video demonstrations without environment rewards. RTA trains a Vision-Language Model (VLM) offline as a progress-based ordinal scorer, using a Group Relative Policy Optimization (GRPO) objective over shuffled frame sequences, which forces the model to recover temporal ordering from visual semantics rather than trivial time cues. Importantly, instead of using the scorer directly as a scalar reward model, we propose a correlation-based reward function for reinforcement learning: at each interaction window, we compute the Spearman rank correlation between predicted progress rankings and true temporal indices, yielding a bounded, scale-invariant learning signal. This design decouples reward learning from absolute calibration and enables stable transfer across tasks and environments. We evaluate RTA on discrete control benchmarks (PyBoy: Catrap, Kirby) and continuous control tasks (PointMaze, MetaWorld). RTA consistently matches or outperforms prior video-based reward learning methods and rank-based baselines, while demonstrating strong cross-task reuse of a single pretrained progress scorer. Our results suggest that correlation-structured supervision over video-derived ordinal signals is sufficient for policy learning, offering a scalable alternative to explicit reward design.