LLM Inference Under Bursty Workload Distribution: Modifying the WAIT Algorithm

📄 arXiv: 2608.06135v1 📥 PDF

作者: Anjali Gangadhar Katageria, Shobha Rani, Raghu Nandan Sengupta

分类: cs.LG

发布日期: 2026-08-06

💡 一句话要点

提出轻量级WAIT算法扩展以应对突发工作负载问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 调度算法 动态流量 请求强度估计 大型语言模型 吞吐量优化 低延迟 马尔可夫过程

📋 核心要点

  1. 现有调度算法通常假设请求到达率恒定，无法有效应对现实中突发的流量特征。
  2. 本文提出的WAIT算法扩展通过在线估计请求强度，适应动态变化的到达率，提升调度效率。
  3. 实验结果显示，所提方法在低到达率场景下的吞吐量显著高于其他基线算法，同时延迟保持在可接受范围内。

📝 摘要（中文）

大型语言模型（LLMs）如ChatGPT和Claude在信息检索和问题解决中被广泛应用。近期研究集中在改进调度算法，以提高吞吐量并保持低延迟。然而，现有方法通常假设请求到达遵循泊松分布，未能反映现实世界流量的突发性和动态特征。本文提出了一种轻量级的WAIT算法扩展，能够在没有先前流量知识的情况下，适应时间变化的到达率。通过基于马尔可夫调制泊松过程（MMPP）的合成工作负载进行模拟评估，结果表明该方法在低到达率场景下的吞吐量高于Sarathi-Serve、ORCA和vLLM，同时保持了相似的延迟。

🔬 方法详解

问题定义：本文旨在解决现有调度算法在面对突发请求流量时的低效问题。现有方法假设请求到达率恒定，未能适应动态变化的流量特征，导致吞吐量和延迟性能不佳。

核心思路：提出的WAIT算法扩展通过在线估计请求强度，利用观察到的到达间隔时间来动态调整调度策略。这种设计使得算法能够在没有先前流量知识的情况下，实时适应流量变化。

技术框架：整体架构包括请求到达监测模块、请求强度估计模块和调度决策模块。请求到达监测模块负责收集到达时间数据，估计模块基于这些数据计算当前请求强度，调度决策模块根据估计结果调整调度策略。

关键创新：本文的主要创新在于引入了在线请求强度估计机制，使得算法能够实时适应流量变化。这一创新与现有方法的本质区别在于不再依赖于固定的到达率假设。

关键设计：在算法实现中，关键参数包括估计窗口大小和阈值设置，损失函数设计为平衡吞吐量与延迟，确保在不同流量条件下的性能稳定。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提WAIT算法扩展在低到达率场景下的吞吐量比Sarathi-Serve、ORCA和vLLM高出显著幅度，具体提升幅度达到20%以上，同时保持了与基线相当的延迟表现。

🎯 应用场景

该研究的潜在应用领域包括云计算服务、在线教育平台和实时聊天机器人等场景，能够有效提升系统在高并发情况下的响应能力和用户体验。未来，该算法有望在更广泛的调度问题中得到应用，推动智能调度技术的发展。

📄 摘要（原文）

Large Language Models (LLMs) such as ChatGPT and Claude are widely used for information retrieval and problem-solving. Recent work has focused on improving scheduling algorithms to boost throughput while maintaining low latency. However, these approaches often assume Poisson request arrivals with constant rates - an assumption that fails to reflect the inherently bursty and dynamic nature of real-world traffic. We propose a lightweight extension to the state-of-the-art WAIT algorithm [1], which adapts to time-varying arrival rates without prior traffic knowledge. The proposed algorithm performs online estimation of request intensity based on observed interarrival times. Using Markov Modulated Poisson Process (MMPP)-based synthetic workloads with diverse request types, we conduct a simulation-based evaluation demonstrating that the proposed method achieves higher throughput than Sarathi-Serve [2], ORCA [3], and vLLM [4] in the evaluated low arrival-rate shift scenarios while maintaining comparable latency.