Rank-Then-Act: Reward-Free Control from Frame-Order Progress

📄 arXiv: 2607.01897 📥 PDF

作者: Yuriy Maksyuta, George Bredis, Ruslan Rakhimov, Daniil Gavrilov

分类: cs.LG, cs.AI

发布日期: 2026-07-05

💡 一句话要点

提出Rank-Then-Act框架以解决无奖励控制问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 无奖励学习 控制策略 视频理解 视觉-语言模型 强化学习

📋 核心要点

  1. 现有方法通常依赖环境奖励进行控制学习，限制了其在无奖励场景下的应用。
  2. 论文提出的Rank-Then-Act框架通过视觉语义恢复时间顺序，利用相关性奖励函数进行强化学习。
  3. 实验结果显示，RTA在多个控制任务中表现优异，超越了传统视频奖励学习方法，展示了良好的跨任务迁移能力。

📝 摘要（中文）

我们提出了Rank-Then-Act（RTA）框架，用于从专家视频演示中学习控制策略，而无需环境奖励。RTA离线训练视觉-语言模型（VLM）作为基于进度的序数评分器，采用分组相对策略优化（GRPO）目标，通过打乱的帧序列迫使模型从视觉语义中恢复时间顺序，而不是依赖简单的时间线索。重要的是，我们提出了一种基于相关性的奖励函数，用于强化学习：在每个交互窗口中，我们计算预测的进度排名与真实时间索引之间的斯皮尔曼等级相关性，从而产生一个有界的、尺度不变的学习信号。这种设计将奖励学习与绝对校准解耦，能够在任务和环境之间稳定迁移。我们在离散控制基准（PyBoy: Catrap, Kirby）和连续控制任务（PointMaze, MetaWorld）上评估了RTA，结果表明RTA在性能上与先前的视频奖励学习方法和基于排名的基线相匹配或超越，同时展示了单一预训练进度评分器的强大跨任务重用能力。

🔬 方法详解

问题定义：本论文旨在解决在缺乏环境奖励的情况下，如何有效学习控制策略的问题。现有方法往往依赖于明确的奖励信号，这在某些应用场景中是不可行的。

核心思路：论文提出的Rank-Then-Act框架通过训练视觉-语言模型（VLM）作为进度评分器，利用视频中的视觉语义信息恢复时间顺序，而不是依赖简单的时间线索。通过这种方式，模型能够在无奖励的情况下进行有效的控制学习。

技术框架：RTA的整体架构包括两个主要模块：首先是离线训练的视觉-语言模型，负责从打乱的帧序列中学习进度评分；其次是基于相关性的奖励函数，用于强化学习中的策略优化。

关键创新：RTA的核心创新在于提出了一种基于斯皮尔曼等级相关性的奖励函数，这种设计使得奖励学习与绝对校准解耦，增强了模型在不同任务和环境中的迁移能力。

关键设计：在模型训练过程中，采用分组相对策略优化（GRPO）目标，确保模型能够从视觉语义中恢复时间顺序。奖励函数的设计为有界且尺度不变，确保了学习信号的稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RTA在离散控制基准（如PyBoy: Catrap, Kirby）和连续控制任务（如PointMaze, MetaWorld）中，性能与传统视频奖励学习方法相当或更优，且展示了单一预训练进度评分器在不同任务中的强大重用能力，显著提升了学习效率。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、视频分析等场景，尤其是在缺乏明确奖励信号的复杂环境中。通过提供一种可扩展的控制学习方法，RTA有望推动智能系统在多样化任务中的应用与发展。

📄 摘要（原文）

We introduce Rank-Then-Act (RTA), a framework for learning control policies from expert video demonstrations without environment rewards. RTA trains a Vision-Language Model (VLM) offline as a progress-based ordinal scorer, using a Group Relative Policy Optimization (GRPO) objective over shuffled frame sequences, which forces the model to recover temporal ordering from visual semantics rather than trivial time cues. Importantly, instead of using the scorer directly as a scalar reward model, we propose a correlation-based reward function for reinforcement learning: at each interaction window, we compute the Spearman rank correlation between predicted progress rankings and true temporal indices, yielding a bounded, scale-invariant learning signal. This design decouples reward learning from absolute calibration and enables stable transfer across tasks and environments. We evaluate RTA on discrete control benchmarks (PyBoy: Catrap, Kirby) and continuous control tasks (PointMaze, MetaWorld). RTA consistently matches or outperforms prior video-based reward learning methods and rank-based baselines, while demonstrating strong cross-task reuse of a single pretrained progress scorer. Our results suggest that correlation-structured supervision over video-derived ordinal signals is sufficient for policy learning, offering a scalable alternative to explicit reward design.