Efficiency and Cost Alignment in Batched LLM Serving via Resource-Fair Scheduling
作者: Dayi Yao, Zijie Zhou
分类: cs.DC, eess.SY
发布日期: 2026-08-03
💡 一句话要点
提出资源公平调度以解决批量LLM服务中的效率与成本不匹配问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 资源调度 大语言模型 公平性 算法设计 性能优化 云计算 在线服务
📋 核心要点
- 现有的批量LLM服务在处理异构请求时，存在资源分配低效的问题，导致短请求的延迟和资源消耗不成比例。
- 本文提出了一种资源公平调度模型，通过限制共同批处理请求的解码进度差异，优化系统吞吐量和资源使用效率。
- 实验结果表明，ISJL算法在吞吐量和成本对齐方面表现优异，相较于传统方法具有明显的性能提升。
📝 摘要（中文）
本文研究了批量大语言模型（LLM）服务中的资源分配低效问题：异构请求共享解码批次时，最大驱动的计算成本相互影响。由于批次步骤的墙钟成本主要由最大的活动KV缓存占用决定，短请求与长请求共同批处理时，短请求的延迟和GPU资源消耗与其自身的令牌工作负载不成比例。我们将这一现象形式化为资源公平调度问题，提出了一种数学调度模型，将批内资源公平性与系统吞吐量联系起来。基于此模型，我们设计了插入短作业限制（ISJL）算法，证明其达到全局竞争比下界$3/4$。我们进一步考察了在商业LLM API中使用的令牌计量定价下，资源公平调度的利润影响。数值实验表明，ISJL在FCFS和LJF之间占据了有利的中间地带，提供了一种双标准调度策略：在保持高吞吐量的同时，将最大驱动的批次成本与令牌计量收入对齐。
🔬 方法详解
问题定义：本文要解决的问题是批量LLM服务中异构请求共享解码批次时的资源分配低效，导致短请求的延迟和GPU资源消耗与其工作负载不匹配。现有方法未能有效处理这种资源竞争，影响了系统的整体性能。
核心思路：论文的核心思路是将资源公平性与系统吞吐量相结合，提出一种数学调度模型，通过限制共同批处理请求的KV缓存占用差异，优化资源使用。设计ISJL算法以实现这一目标，确保短请求不会因与长请求共同处理而遭受过高的延迟和资源消耗。
技术框架：整体架构包括请求分类、调度模型构建和算法实现三个主要模块。首先对请求进行分类，然后应用数学模型进行调度，最后通过ISJL算法进行具体的调度执行。
关键创新：最重要的技术创新点在于提出了资源公平调度的数学模型，并设计了ISJL算法，该算法在保证高吞吐量的同时，能够有效对齐最大驱动的批次成本与令牌计量收入。与现有方法相比，ISJL在资源分配上更具公平性和效率。
关键设计：ISJL算法的关键设计包括参数化的混合批处理策略，设定了公平性约束以限制解码进度差异。此外，算法的性能通过理论证明达到全局竞争比下界$3/4$，并在数值实验中验证了其有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，ISJL算法在吞吐量和成本对齐方面表现优异，相较于传统的FCFS和LJF方法，ISJL在保持高吞吐量的同时，显著降低了资源消耗和延迟，验证了其在实际应用中的有效性和优势。
🎯 应用场景
该研究的潜在应用领域包括大规模语言模型的在线服务、云计算平台的资源调度以及商业API的优化。通过提高资源利用率和降低服务成本，ISJL算法能够为企业提供更高效的LLM服务，提升用户体验和经济效益。未来，该方法还可以扩展到其他类型的计算任务调度中，具有广泛的应用前景。
📄 摘要（原文）
This paper studies a resource-allocation inefficiency in batched large language model (LLM) serving: heterogeneous requests that share a decode batch impose max-driven computational costs on one another. Because the wall-clock cost of a batch step is largely governed by the largest active KV-cache footprint, a short request co-batched with a long request can experience latency and GPU-resource consumption disproportionate to its own token workload. We formalize this phenomenon as a resource-fair scheduling problem. We develop a mathematical scheduling model that connects within-batch resource fairness to system throughput. The proposed fairness constraint bounds the disparity in decode progress, equivalently KV-cache footprint, among co-batched requests. Based on this model, we design the Insert-Short-Jobs-with-Limit (ISJL) algorithm, a parameterized hybrid batching policy. We prove that ISJL achieves a global competitive-ratio lower bound of $3/4$. We further examine the profit implications of resource-fair scheduling under the token-metered pricing convention used by commercial LLM APIs. Numerical experiments show that ISJL occupies a favorable middle ground between FCFS, which has large batching externalities, and LJF, which is cost-aligned but sacrifices batching flexibility. Thus, ISJL provides a bi-criterion scheduling policy: it maintains high throughput while aligning max-driven batch cost with token-metered revenue.