Li$^{2}$SAO: Lifting Light Singl-Rollout Asynchronous RL Optimization via Group-Relative Actor-Critic Bootstrapping

📄 arXiv: 2610.40726v1 📥 PDF

作者: Zichen Bai, Yanli Wang, Yang Liu, Junhao Shi, Xueqin Liu, Jinguo Sun, Muye Li, Shaoqiang Zheng, Xuefei Diao, Zhuwei Zeng, Nan Duan, Peng Cao

分类: cs.CL, cs.LG

发布日期: 2026-10-29

🔗 代码/项目: GITHUB

💡 一句话要点

提出Li$^{2}$SAO以解决异步强化学习中的稳定性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 异步强化学习 演员-评论家 组相对优化 单回合优化 智能代理 训练稳定性 价值模型

📋 核心要点

  1. 现有的异步强化学习方法在处理长尾分布的回合长度时存在稳定性不足的问题。
  2. 论文提出Li$^{2}$SAO，通过组相对演员-评论家引导来提升单回合异步优化的性能，解决了SAO对封闭源价值模型的依赖。
  3. 实验结果表明，Li$^{2}$SAO在早期训练阶段能够赶上或超越GRPO，并在后期进一步提升性能上限。

📝 摘要（中文）

异步强化学习（RL）正成为后训练大型语言模型（LLMs）的主流范式，因为它通过在回合到达时更新模型来提高训练效率。近期研究指出，GRPO中的组采样不适合异步RL训练，提出了单回合异步优化（SAO）以改善稳定性和离线策略行为。然而，SAO依赖于一个封闭源的价值模型。本文分析了GRPO和我们的轻量级SAO重现版本LiSAO，发现GRPO在推理任务上优于LiSAO，而在代理任务上则相反。为了解决LiSAO在早期训练中的滞后问题，提出了Li$^{2}$SAO，通过组相对演员-评论家引导提升单回合异步优化，实验显示Li$^{2}$SAO在早期训练中赶上或超越GRPO，并进一步提高后期性能上限。

🔬 方法详解

问题定义：本文旨在解决异步强化学习中因回合长度长尾分布导致的训练稳定性不足的问题。现有的SAO方法依赖于封闭源的价值模型，限制了其应用。

核心思路：论文提出Li$^{2}$SAO，通过组相对演员-评论家引导来提升单回合异步优化的性能，避免了对预训练价值模型的依赖，从而提高了训练的灵活性和稳定性。

技术框架：Li$^{2}$SAO的整体架构包括两个主要阶段：在评论家冷却期间，使用组相对优势训练演员，随后使用组中心返回训练评论家，最后切换到单回合广义优势估计（GAE）进行训练。

关键创新：Li$^{2}$SAO的主要创新在于引入了组相对演员-评论家引导机制，使得在评论家尚未充分训练时，演员能够更有效地学习，从而提升了训练的初期表现。

关键设计：在Li$^{2}$SAO中，关键参数设置包括组相对优势和组中心返回的计算方式，以及损失函数的设计，确保了训练过程中的稳定性和收敛性。整体网络结构则结合了演员和评论家的模块化设计。

📊 实验亮点

实验结果显示，Li$^{2}$SAO在早期训练阶段能够赶上或超越GRPO，特别是在代理任务上表现出显著的提升，进一步提高了后期性能上限，展示了其在异步强化学习中的有效性和潜力。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、智能代理和复杂决策系统等，能够在需要快速适应和高效学习的场景中发挥重要作用。未来，Li$^{2}$SAO有望推动异步强化学习在实际应用中的广泛采用，提升智能系统的自主学习能力。

📄 摘要（原文）

Asynchronous reinforcement learning (RL) is becoming a mainstream paradigm for post-training large language models (LLMs), as it improves training efficiency by updating the model as rollouts arrive. Recent work argues that group-wise sampling in GRPO does not naturally fit asynchronous RL training because rollout lengths follow a long-tailed distribution, and proposes Single-rollout Asynchronous Optimization (SAO) to improve stability and off-policy behavior, especially on agentic tasks. However, SAO relies on a closed-source value model obtained from scaling value pretraining. In this paper, we analyze GRPO and LiSAO, our lightweight reproduction of SAO without the pretrained value model, on single-turn reasoning and multi-turn agentic tasks. We find that GRPO outperforms LiSAO on reasoning tasks, while the reverse holds on agentic tasks. Since the value model of LiSAO is not yet well trained , LiSAO lags behind GRPO substantially in early training steps. To address this issue, we propose Li$^{2}$SAO, which Lifts Light Single-rollout Asynchronous Optimization with group-relative actor-critic bootstrapping: while the critic is cold, a group-relative advantage trains the actor and a group-centered return trains the critic, after which training switches to single-rollout GAE. Experiments show that Li$^{2}$SAO catches up with or surpasses GRPO in early training and further raises the later performance ceiling. Code is available at https://github.com/jd-cc-coder/Li2SAO.