Beyond Binary Priorities: Multi-Tier SLA Scheduling for Large Language Model Serving

📄 arXiv: 2608.16336v1 📥 PDF

作者: Anders Vestrum, Arya Raeesi, Hanna Roed

分类: cs.AR, cs.DC, cs.LG

发布日期: 2026-08-17

备注: 13 pages, 9 figures, 4 tables

💡 一句话要点

扩展多层次SLA调度以优化大型语言模型服务

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 服务水平目标 多层次调度 资源优化 云计算

📋 核心要点

  1. 现有的Llumnix调度器优先级模型仅支持两级，无法满足复杂的服务水平目标需求。
  2. 本文提出了一种扩展的多层次优先级调度模型，支持任意数量的优先级层次，以更好地适应生产环境。
  3. 实验结果显示，四个优先级层次的调度器在成本效益上表现最佳，预填充平均加速达8.3倍，P99延迟加速达3.1倍。

📝 摘要（中文）

现代大型语言模型（LLM）服务部署需要同时满足来自不同用户层次的异构服务水平目标（SLO），包括延迟敏感的API调用和后台批处理。Llumnix提出了一种动态的多实例调度器，但其优先级模型仅限于两级，无法表达生产环境中更复杂的SLA类别。本文扩展了Llumnix的优先级模型，支持任意数量的层次，并在三种现实的优先级分布下评估了该扩展的效果。实验结果表明，四个优先级层次在成本效益上表现最佳，显著提高了性能，同时保持了强大的SLO区分能力。

🔬 方法详解

问题定义：本文旨在解决现有Llumnix调度器优先级模型的局限性，特别是其仅支持两级优先级，无法满足多样化的服务水平目标（SLO）需求。

核心思路：通过扩展优先级模型，支持任意数量的层次，论文提出了一种更灵活的调度方案，以适应不同用户层次的需求。设计中引入了每层的头部空间和指数衰减机制，以优化资源分配。

技术框架：整体架构包括一个分层调度框架，集成了每层的调度顺序和Llumnix的迁移管道。主要模块包括优先级分配、调度决策和资源迁移。

关键创新：最重要的创新在于支持多层次的优先级调度，能够在10个优先级层次下保持性能提升，避免尾延迟崩溃，这与现有方法的单一优先级模型形成鲜明对比。

关键设计：在设计中，采用了每层的头部空间设置和指数衰减策略，确保在高负载情况下仍能有效分配资源，同时保持SLO的强区分能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，扩展后的调度器在四个优先级层次下实现了最佳的成本效益，预填充平均加速达到8.3倍，P99延迟加速达到3.1倍，相较于INFaaS，延迟成本改善幅度在46%到68%之间，且在10个优先级层次下保持了稳定的性能。

🎯 应用场景

该研究的潜在应用领域包括云计算服务、API管理和大规模数据处理等场景，能够显著提高大型语言模型的服务效率和用户体验。未来，该方法可能推动更复杂的调度策略在实际生产环境中的应用，提升资源利用率。

📄 摘要（原文）

Modern LLM serving deployments must simultaneously satisfy heterogeneous service-level objectives (SLOs) across a diverse population of user tiers, ranging from latency-critical API calls to background batch processing. Llumnix introduced a dynamic, migration-capable multi-instance scheduler for LLM inference that achieves load balancing, defragmentation, prioritization, and auto-scaling through a unified "freeness" metric. However, Llumnix's priority model is restricted to two levels (high and normal), an abstraction too coarse to express the richer SLA classes common in production deployments. In this work, we extend Llumnix's priority model to support an arbitrary number of tiers and evaluate the effects of this extension under three realistic priority distributions (uniform, Gaussian, enterprise) using Vidur, a high-fidelity LLM inference simulator. We implement per-tier headroom with exponential decay, tier-aware dispatch ordering, and the full Llumnix migration pipeline inside Vidur's hierarchical scheduling framework. We compare our extended scheduler against INFaaS (global routing baseline), vLLM, Orca, and Sarathi-Serve (per-replica baselines), sweeping priority levels from 1 to 10. Our experiments demonstrate that four priority tiers yields the best cost-effectiveness tradeoff, achieving prefill mean speedups of up to 8.3x and end-to-end P99 speedups of up to 3.1x over INFaaS with cost-per-latency improvements of 46 to 68%, while preserving strong SLO differentiation across tiers. We further show that the system sustains these gains at 10 priority levels without tail latency collapse, with overhead concentrated in the prefill phase.