DWISE: Denoising Workload-Informed Scheduling Engine

📄 arXiv: 2610.39852v1 📥 PDF

作者: Lie Li, Wen Li, Junxiao Shen, Jindong Gu, Guosheng Hu

分类: cs.LG

发布日期: 2026-10-29

备注: 17 pages, 11 figures, 17 tables

💡 一句话要点

提出DWISE以解决扩散大语言模型调度效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 扩散大语言模型 调度引擎 去噪 高效推理 自然语言处理 实时文本生成 并行处理

📋 核心要点

  1. 现有调度策略如先到先服务和预填充优先不适合dLLMs，导致严重的效率浪费和排队阻塞。
  2. DWISE通过测量请求的剩余工作量来调度请求，优化了去噪过程的并行性，提升了整体效率。
  3. 在五个不同的dLLM模型上，DWISE实现了平均5.4倍的延迟减少，最高可达14.9倍，同时保持了任务的准确性。

📝 摘要（中文）

与自回归大语言模型（AR-LLMs）不同，扩散大语言模型（dLLMs）通过并行去噪多个标记来生成文本，展现出高效推理的潜力。然而，现有的服务框架采用的调度策略（如先到先服务和预填充优先）并不适合dLLMs，导致效率低下。DWISE是一种去噪工作负载信息调度引擎，通过测量剩余工作量来调度请求，从而提高dLLM的服务效率。DWISE结合轻量级的基于提示的预测器和首次去噪轮次的隐藏状态，能够有效预测未知的去噪工作量。实验结果表明，DWISE在五个模型上平均减少了5.4倍的端到端延迟，并在保持任务准确性的同时，最高可达14.9倍的提升。

🔬 方法详解

问题定义：论文主要解决dLLM请求调度效率低下的问题。现有的调度策略（如FCFS和预填充优先）未能考虑dLLM请求的去噪成本异质性，导致严重的排队阻塞和效率损失。

核心思路：DWISE的核心思想是通过测量请求的剩余工作量来调度请求，使得去噪和预填充阶段能够共享一个轮次，从而提高并行处理的效率。

技术框架：DWISE的整体架构包括请求调度模块和工作量预测模块。请求调度模块根据剩余工作量进行调度，而工作量预测模块结合轻量级的提示预测器和首次去噪轮次的隐藏状态来预测未知的去噪工作量。

关键创新：DWISE的创新点在于其调度策略基于剩余工作量的测量，能够有效减少排队时间和提升并行处理能力。这与现有方法的本质区别在于，DWISE能够动态适应不同请求的去噪需求。

关键设计：DWISE采用轻量级的提示预测器来进行初步的工作量预测，并通过首次去噪轮次的隐藏状态进行单次精细化，避免了额外的模型执行，确保了高效性和准确性。

📊 实验亮点

DWISE在五个不同的dLLM模型上进行评估，结果显示其平均端到端延迟减少了5.4倍，最高可达14.9倍，相较于基线SGLang显著提升，同时保持了任务的准确性，展示了其在高效推理中的潜力。

🎯 应用场景

DWISE的研究成果在自然语言处理、对话系统和实时文本生成等领域具有广泛的应用潜力。通过提高dLLM的调度效率，DWISE能够显著提升用户体验，尤其是在高并发请求的场景下，具有重要的实际价值和未来影响。

📄 摘要（原文）

Unlike autoregressive large language models (AR-LLMs), diffusion LLMs (dLLMs) generate text by iteratively denoising many tokens in parallel, offering a promising path to efficient inference. Existing serving frameworks, however, schedule dLLM requests with policies designed for AR models, namely first-come-first-served (FCFS) admission and prefill priority. We find that both policies are ill-suited to dLLMs, wasting much of their speed. FCFS ignores that a dLLM request's decoding cost is highly heterogeneous and unknown at arrival, causing severe head-of-line blocking. Prefill priority, widely used in AR-LLM serving to keep time-to-first-token low, sharply cuts dLLM efficiency, as rounds that run only prompts leave most of the batch idle. We present DWISE, a Denoising Workload-Informed Scheduling Engine for efficient dLLM serving. DWISE schedules requests by their remaining work, measured in a block-level unit shared by prefill and denoising, so both phases share a round. To predict the unknown denoising workload, DWISE combines a lightweight prompt-based predictor at admission with a single refinement from the first denoising round's hidden states, which capture model-specific information absent from the prompt and require no additional model execution. Implemented in SGLang and evaluated on five models from three dLLM families under bursty workloads, DWISE reduces mean end-to-end latency over SGLang by 5.4$\times$ on average and up to 14.9$\times$ while preserving task accuracy. The code will be released publicly.