Scheduling Mixed RL Rollouts Beyond Prefix Locality

📄 arXiv: 2608.11152v1 📥 PDF

作者: Zetao Hong, Song Yuan, Yuanhao Ding, Yibo Zhu, Daxin Jiang, Zhibin Wang, Chen Tian

分类: cs.DC, cs.LG

发布日期: 2026-08-11

💡 一句话要点

提出MISA-T以解决异构RL回滚调度问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 回滚调度 KV缓存 大语言模型 资源管理

📋 核心要点

  1. 现有方法未能有效管理异构回滚会话对KV缓存的竞争，导致推理效率低下。
  2. MISA-T通过自适应会话接纳和工作负载感知的KV容量分配来优化回滚调度。
  3. 实验结果显示，MISA-T在多个基准测试中显著提高了回滚吞吐量，并减少了平均迭代时间。

📝 摘要（中文）

现代强化学习（RL）后处理管道在大语言模型（LLM）中越来越多地结合了跨多个领域和反馈范式的回滚工作负载。虽然前缀感知路由通过缓存重用和负载平衡提高了推理效率，但未能控制异构回滚会话对KV缓存容量的竞争。本文提出了MISA-T，一种混合回滚服务的路由层接纳策略，结合了自适应会话接纳、工作负载感知的KV容量分配和驻留时间感知的KV会计。在Step3.7和Qwen3.6-35B-A3B的回滚实验中，MISA-T分别提高了回滚吞吐量53.3%和43.6%，同时保持了高前缀缓存命中率。

🔬 方法详解

问题定义：本文旨在解决异构回滚会话在KV缓存容量竞争中的调度问题。现有方法未能有效管理不同类型回滚会话的推理需求，导致资源利用率低下和效率不足。

核心思路：MISA-T的核心思路是通过自适应会话接纳和工作负载感知的KV容量分配，优化异构回滚会话的调度，从而提高推理效率和吞吐量。

技术框架：MISA-T的整体架构包括三个主要模块：自适应会话接纳模块、工作负载感知的KV容量分配模块和驻留时间感知的KV会计模块。这些模块协同工作，以确保高效的资源分配和调度。

关键创新：MISA-T的主要创新在于其综合考虑了异构回滚会话的特性，通过动态调整接纳策略和资源分配，显著提高了推理效率。这与现有方法的静态资源分配形成鲜明对比。

关键设计：MISA-T在参数设置上采用了动态调整机制，确保在不同工作负载下的最佳性能。此外，设计中还考虑了驻留时间对KV缓存的影响，以优化缓存的使用效率。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，MISA-T在Step3.7和Qwen3.6-35B-A3B的回滚实验中，分别提高了53.3%和43.6%的回滚吞吐量。在50次迭代的匹配实验中，吞吐量提升了35.6%，平均迭代时间减少了22.8%，同时保持了接近训练目标的工作负载混合和可比的任务得分。

🎯 应用场景

该研究的潜在应用领域包括大语言模型的推理优化、异构系统的资源管理以及多任务学习场景。通过提高回滚调度的效率，MISA-T能够在实际应用中显著提升系统的响应速度和处理能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Modern reinforcement learning (RL) post-training pipelines for large language models (LLMs) increasingly combine rollout workloads across multiple domains and feedback paradigms. Prefix-aware routing improves inference efficiency through cache reuse and load balancing, but it does not control how heterogeneous rollout sessions compete for KV-cache capacity. When reinforcement learning with verifiable rewards (RLVR), reinforcement learning from human feedback (RLHF), and agentic rollouts share an asynchronous inference service, their distinct sequence structures, interaction patterns, and KV-residency times create substantially different serving demands. Rollout scheduling must account for this heterogeneity without distorting the workload mixture specified by the trainer. We present MISA-T, a routing-layer admission policy for mixed rollout serving. MISA-T combines adaptive session admission, workload-aware KV-capacity allocation, and residency-time-aware KV accounting. In rollout-only ablations on Step3.7 and Qwen3.6-35B-A3B, MISA-T improves rollout throughput over a sweep-tuned cache-aware vLLM Router by 53.3% and 43.6%, respectively, while maintaining high prefix-cache hit rates. In a matched 50-iteration Step3.7 experiment, it increases rollout throughput by 35.6% and reduces mean iteration time by 22.8%, while keeping the consumed workload mixture close to the trainer target and achieving comparable task scores.