Cascade: Exploiting SLO-Aware latency budget for fair and high goodput LLM inference serving

📄 arXiv: 2608.06557v1 📥 PDF

作者: Muhammad Adnan, Rohan Mahapatra, Prashant J. Nair, Daniel Berger, Pantea Zardoshti, Rodrigo Fonseca, Esha Choukse

分类: cs.DC, cs.LG

发布日期: 2026-08-06

💡 一句话要点

提出Cascade以解决LLM推理服务中的延迟预算问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 延迟预算 请求调度 KV缓存管理 性能优化 公平性

📋 核心要点

  1. 现有LLM服务平台在处理不同请求时未能有效利用延迟预算，导致资源分配不均和性能下降。
  2. Cascade通过定义每个请求的延迟预算，联合调度请求和管理KV缓存，从而优化资源利用和响应时间。
  3. 实验结果显示，Cascade在良好吞吐量上提升了2.4倍，并将SLO违规率降低了40%，显著优于传统的调度方法。

📝 摘要（中文）

大型语言模型（LLM）的推理能力已扩展到多种应用场景，然而现有的LLM服务平台在响应延迟服务水平目标（SLO）方面存在不足。不同请求在输入长度、生成长度和执行成本等方面差异巨大，导致同一服务下的请求紧急程度不同。本文提出Cascade，一个LLM服务系统，通过估算和持续更新每个请求的延迟预算，协调请求调度和KV缓存管理。Cascade的调度器优先处理预算较少的请求，从而在提高SLO满足率的同时保持请求类别之间的公平性。实验结果表明，Cascade在三个大型语言模型的生产追踪中，良好吞吐量提高了2.4倍，SLO违规减少了40%。

🔬 方法详解

问题定义：本文旨在解决现有LLM服务平台在响应延迟服务水平目标（SLO）时的资源分配不均问题。现有方法主要依赖于截止时间进行请求排序，未能充分考虑请求的紧急程度和延迟预算。

核心思路：Cascade通过定义每个请求的延迟预算，结合请求特征、KV缓存状态和系统负载，动态调整请求调度和缓存管理策略。这样设计的目的是为了提高资源利用率，确保在满足SLO的同时保持请求之间的公平性。

技术框架：Cascade的整体架构包括请求调度器和内存管理器两个主要模块。调度器根据每个请求的延迟预算优先处理紧急请求，而内存管理器则利用相同的预算来决定KV状态的恢复或预取策略。

关键创新：Cascade的最大创新在于引入了每个请求的延迟预算概念，联合调度和缓存管理，而非单纯依赖截止时间。这种方法使得系统能够更灵活地应对不同请求的需求。

关键设计：Cascade的设计中，延迟预算的计算考虑了请求的特征、KV缓存状态和系统负载等因素。调度器和内存管理器的决策过程均基于这一预算，从而实现了高效的资源调度和管理。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

Cascade在三个大型语言模型的生产追踪中，良好吞吐量提升了2.4倍，SLO违规率降低了40%。与传统的先到先服务调度器相比，Cascade显著提高了系统的性能和公平性，展示了其在实际应用中的有效性。

🎯 应用场景

Cascade的研究成果在大型语言模型的推理服务中具有广泛的应用潜力，尤其是在需要处理多样化请求的场景中。通过优化延迟预算的管理，Cascade能够提升系统的响应速度和吞吐量，适用于在线服务、智能客服和实时数据处理等领域。未来，该方法还可能扩展到其他类型的计算密集型任务中，进一步提高资源利用效率。

📄 摘要（原文）

The reasoning and agentic capabilities of large language models have expanded the range of applications they support, from short interactive exchanges to long, compute-heavy requests. LLM serving platforms today define response-latency service-level objectives, even though requests within the same service can differ by orders of magnitude in input length, generation length, execution cost, and the availability of reusable KV-cache state. As a result, requests governed by the same service level objective have different urgency: after accounting for the time required to execute them, some have substantial latency headroom while others have almost none. We define this headroom---the difference between a request's service level objective and its predicted remaining service time---as its per-request latency budget. We present Cascade, an LLM serving system that estimates and continuously updates this budget from request characteristics, KV-cache state, and current system load. Unlike prior SLO-aware schedulers that use deadlines to govern request ordering alone, Cascade uses a single per-request budget to jointly coordinate request scheduling and KV-cache management across the memory hierarchy. Its scheduler prioritizes requests with little remaining budget, while its memory manager uses the same budget to decide whether non-resident KV state should be restored or prefetched from a deeper tier, retained in HBM, or recomputed. By directing queueing and data-movement overhead toward requests that can absorb it, Cascade improves SLO-satisfied goodput while preserving fairness across heterogeneous request classes. On production traces across three large language models, Cascade improves goodput by up to2.4x and reduces SLO violations by 40% relative to the default vLLM first-come, first-served scheduler.