Annotations as Rollouts: Efficient and Scalable Reinforcement Learning for Video MLLMs

📄 arXiv: 2608.20492v1 📥 PDF

作者: Yunheng Li, Guohong Mu, Hao Li, Shengsheng Qian, Dingwen Zhang, Qibin Hou, Ming-Ming Cheng

分类: cs.CV

发布日期: 2026-08-20

备注: Project page: https://orarl.github.io/

💡 一句话要点

提出OraRL以解决视频多模态大语言模型的样本效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频理解 多模态大语言模型 强化学习 样本效率 优势估计

📋 核心要点

  1. 现有的强化学习方法在视频多模态大语言模型的后训练中，样本效率低且难以扩展，尤其是在高质量回合样本稀缺的情况下。
  2. 本文提出了OraRL，通过将注释视为直接的优化目标，解决了现有方法中的优势反转问题，提升了样本效率。
  3. 实验结果表明，OraRL在多个指标上显著提升了性能，如时间mIoU从62.5提升至66.0，追踪AO从73.0提升至78.2。

📝 摘要（中文）

多模态大语言模型（MLLMs）已成为统一视频感知的主流范式。然而，在大型多任务数据集上进行后训练仍然面临挑战，现有的强化学习方法在高质量回合样本上表现不佳。本文研究了视频MLLMs后训练的样本效率和可扩展性，提出了OraRL方法。我们发现注释在此过程中扮演了重要角色，除了评分回合外，每个注释还可以作为一个直接的正优化目标。OraRL的核心是一个解耦的优势估计器，通过保留强回合和注释，显著提高了效率。

🔬 方法详解

问题定义：本文旨在解决视频多模态大语言模型后训练中的样本效率低和高质量回合样本稀缺的问题。现有方法在处理多任务数据集时，往往无法有效利用注释信息，导致性能提升受限。

核心思路：论文提出的OraRL方法通过将注释视为正优化目标，利用解耦的优势估计器来避免优势反转问题，从而提高样本效率和可扩展性。

技术框架：OraRL的整体架构包括两个主要模块：一个用于生成无注释的基线的策略回合，另一个用于调节方向性增益和独立的注释优势的模块。通过这种设计，OraRL能够有效整合注释信息。

关键创新：OraRL的核心创新在于解耦的优势估计器设计，能够有效避免高奖励注释导致的优势反转问题，这一设计与现有方法有本质区别。

关键设计：在参数设置上，OraRL通过保留每个符号的最强回合和注释，采用了平衡修剪策略，显著提高了效率。此外，OraRL的计算时间仅为SFT的2.2倍，远低于GRPO的4.9倍。实验中，Video-ORA-9B的解码时间从4780毫秒降至130毫秒。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，OraRL在多个性能指标上超越了现有最佳模型，时间mIoU从62.5提升至66.0，追踪AO从73.0提升至78.2，分割精度从64.3提升至70.4，空间智能宏平均从51.0提升至56.1，展现出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括视频理解、自动视频标注和多模态内容生成等。通过提高视频多模态大语言模型的样本效率，OraRL能够在实际应用中更快速、准确地处理视频数据，推动相关技术的发展与应用。

📄 摘要（原文）

Multimodal large language models (MLLMs) have become a prevailing paradigm for unified video perception. However, post-training on large multi-task datasets remains challenging, as existing reinforcement learning methods sample on-policy groups with few high-quality rollouts even with costly chain-of-thought (CoT) generation. In this paper, we study the sample efficiency and scalability of RL post-training for video MLLMs and introduce OraRL. We identify an overlooked role for annotations: Beyond scoring rollouts, each can enter its on-policy group as an oracle rollout, a direct positive optimization target. Direct oracle integration, however, is nontrivial: a high-reward oracle raises the group baseline and inverts otherwise positive policy advantages, a failure we term advantage inversion. At the core of OraRL is a decoupled advantage estimator: policy rollouts determine an oracle-free baseline, while the oracle-policy gap modulates both a directional gain and a separate detached oracle advantage. Sign-balanced pruning improves efficiency: by retaining only the oracle and the strongest rollouts of each sign, OraRL requires just 2.2x the step time of SFT, less than half the 4.9x required by GRPO with CoT. OraRL scales with model size and data, surpassing its backbone from 0.8B to 9B and GRPO up to 100k prompts. Without chain-of-thought, Video-ORA-9B decodes in 130 ms instead of 4,780 ms. Compared with the respective prior best models, it raises temporal mIoU from 62.5 to 66.0, tracking AO from 73.0 to 78.2, segmentation from 64.3 to 70.4, and the three-benchmark spatial-intelligence macro average from 51.0 to 56.1; on VSI-Bench, it scores 73.1 against 55.0 for GPT-5 and 55.1 for Gemini-3-Pro.