Accelerating Disaggregated RL for Visual Generative LLMs with Diffusion-Based Parallelism and Trainer-Assisted Generation

📄 arXiv: 2606.24369v1 📥 PDF

作者: Sijie Wang, Zhengyu Qing, Zhiqiang Tan, Yiming Yin, Yeqing Zhang, Yaoyuan Wang, Qiang Wang, Xiaowen Chu, Shaohuai Shi

分类: cs.AI, cs.DC, cs.NI, cs.PF

发布日期: 2026-06-23

备注: 14 pages, 18 figures, 1 table

💡 一句话要点

提出DigenRL框架以提升扩散生成LLMs的强化学习效率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 扩散生成 资源调度 异构GPU 任务调度 生成模型 高效执行

📋 核心要点

  1. 现有的扩散生成LLMs的强化学习系统在资源调度和扩展性方面存在明显不足，限制了其性能提升。
  2. DigenRL框架通过引入生成轴管道和时间步并行性等技术，实现了更灵活的资源分配和高效的任务调度。
  3. 在多个硬件测试平台上，DigenRL在吞吐量上较现有最先进的系统提升了1.56-2.10倍，显示出显著的性能优势。

📝 摘要（中文）

强化学习（RL）已成为后训练范式的主流，推动了高性能RL系统的出现，如用于自回归大型语言模型（LLMs）的veRL。同时，基于扩散的RL算法如DanceGRPO和FlowGRPO迅速扩展了RL的应用范围。然而，针对扩散生成LLMs的高效RL系统仍未得到充分探索。现有实现如veRL-Omni依赖于协同执行，限制了资源的独立扩展。为此，本文提出了DigenRL，一个支持灵活资源分配的解耦RL框架，能够适应异构GPU并促进高效任务调度。实验结果表明，DigenRL在多个硬件平台上实现了1.56-2.10倍的吞吐量提升。

🔬 方法详解

问题定义：本文旨在解决现有扩散生成LLMs的强化学习系统在资源调度和扩展性方面的不足，现有方法如veRL-Omni依赖于协同执行，限制了资源的独立扩展。

核心思路：DigenRL框架通过解耦资源和任务调度，结合生成轴管道（GAP）和时间步并行性（TSP），实现了更高效的执行流程。

技术框架：DigenRL的整体架构包括生成轴管道和时间步并行性模块、弹性训练辅助生成（TAG）模块，以及异步策略模块，旨在最大限度减少执行中的空闲时间。

关键创新：DigenRL的主要创新在于引入了生成轴管道和时间步并行性，允许更细粒度的流水线处理，同时通过弹性训练辅助生成动态利用GPU资源，显著提升了执行效率。

关键设计：在设计中，采用了紧凑的一步约束异步策略，以充分利用流水线中的尾部空闲时间，确保资源的高效利用。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，DigenRL在16-32个GPU的硬件测试平台上，使用HunyuanVideo-13B、Wan2.1-14B等生成模型，取得了1.56-2.10倍的吞吐量提升，超越了现有的最先进扩散RL系统，如veRL-Omni和GenRL。

🎯 应用场景

DigenRL框架的潜在应用领域包括自然语言处理、计算机视觉和多模态生成等。其灵活的资源调度和高效的任务执行能力，能够为大规模生成模型的训练和推理提供支持，推动相关技术的进步与应用。

📄 摘要（原文）

Reinforcement learning (RL) has become a dominant post-training paradigm, driving the emergence of high-performance RL systems such as veRL for autoregressive large language models (LLMs). In parallel, diffusion-oriented RL algorithms, e.g., DanceGRPO and FlowGRPO, have rapidly expanded the scope of RL from language reasoning to diffusion-based visual and flow-based generation. However, efficient RL systems for diffusion generative LLMs remain underexplored. Existing implementations, e.g., veRL-Omni, still rely on colocated execution, which simplifies synchronization but couples rollout and training resources, limits heterogeneous deployment, and constrains independent scaling. To this end, we introduce DigenRL, a disaggregated RL framework for diffusion-based generative LLMs that supports flexible resource allocation, accommodates heterogeneous GPUs, and facilitates efficient task scheduling. To maximally reduce the execution bubbles in the disaggregated architecture, we propose: 1) a generation-axis pipeline (GAP) and time-step parallelism (TSP) in the diffusion architecture to enable finer-grained pipelining between rollout and training; 2) an elastic trainer-assisted generation (TAG) approach to enable the trainer GPU resources to dynamically assist in executing rollout generations; and 3) a tightly one-step constrained asynchronous strategy to further utilize the tail bubble in the pipeline. Extensive experiments are conducted on three hardware testbeds with 16-32 GPUs using HunyuanVideo-13B, Wan2.1-14B, FLUX.1-12B, and QwenImage-20B generative models. Experimental results show that DigenRL achieves 1.56-2.10x throughput improvements over state-of-the-art diffusion RL systems, veRL-Omni and GenRL.