DolphinRouting: Cluster-Level Binary Routing for Disaggregated LLM Inference Serving

📄 arXiv: 2610.40292v1 📥 PDF

作者: Yishuo Yuan, Shaoyu Yang, Chunrong Fang

分类: cs.LG

发布日期: 2026-10-29

💡 一句话要点

提出DolphinRouting以优化大规模语言模型推理服务

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大规模语言模型 推理服务 资源优化 聚类算法 服务水平目标 延迟减少 缓存管理

📋 核心要点

  1. 现有方法在大规模语言模型推理服务中，无法有效平衡预填充和解码阶段的资源分配，导致性能瓶颈。
  2. DolphinRouting通过聚类请求并基于SLO反馈进行路径选择，优化了预填充和解码的资源利用效率。
  3. 实验结果显示，DolphinRouting在多个基准测试中显著提升了性能，减少了延迟和处理时间。

📝 摘要（中文）

Prefill-decode (PD) 解耦大规模语言模型服务的两个阶段，但请求级路径选择必须考虑预填充工作、缓存重用和解码需求。本文提出DolphinRouting，通过在给定的P/D资源分配下，从端到端的服务水平目标(SLO)反馈中学习这一选择。请求根据原始提示长度、缓存调整后的输入长度和输出长度信息进行聚类。离线策略搜索为每个聚类学习一个二元动作。在线特征提取、聚类分配和表查找选择本地或远程预填充。我们在真实的PD解耦集群上使用三个公共基准、混合工作负载和真实数据评估DolphinRouting。结果表明，DolphinRouting在混合工作负载和真实数据上，相较于Dynamo，P90 TTFT减少了5.7%至7.9%，P90 TPOT减少了2.6%至10.1%。

🔬 方法详解

问题定义：本文旨在解决大规模语言模型推理服务中，预填充和解码阶段资源分配不均的问题。现有方法在请求级路径选择时，未能充分考虑预填充工作、缓存重用和解码需求，导致性能下降。

核心思路：DolphinRouting通过聚类请求并利用端到端的SLO反馈，优化了预填充和解码的路径选择。通过这种方式，系统能够更智能地选择本地或远程的预填充资源，从而提高整体服务效率。

技术框架：DolphinRouting的整体架构包括请求聚类、离线策略搜索和在线特征提取三个主要模块。请求首先根据原始提示长度和缓存调整后的输入长度进行聚类，然后通过离线学习为每个聚类生成二元动作，最后在在线阶段进行特征提取和聚类分配。

关键创新：DolphinRouting的主要创新在于其聚类机制和基于SLO反馈的路径选择策略。这种方法与现有的Dynamo方法相比，能够更有效地利用资源，减少延迟和处理时间。

关键设计：在设计中，DolphinRouting使用了k-means聚类算法进行请求分类，并通过离线策略搜索优化了每个聚类的动作选择。此外，系统还考虑了缓存调整和输出长度信息，以提高决策的准确性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在实验中，DolphinRouting在混合工作负载和真实数据上，相较于基线Dynamo，P90 TTFT减少了5.7%至7.9%，P90 TPOT减少了2.6%至10.1%。这些结果表明，DolphinRouting在提升推理服务效率方面具有显著优势。

🎯 应用场景

DolphinRouting的研究成果可广泛应用于大规模语言模型的推理服务，特别是在需要高效资源管理和低延迟响应的场景中，如在线客服、智能助手和实时翻译等领域。其优化策略将为未来的AI服务架构提供重要参考。

📄 摘要（原文）

Prefill-decode (PD) disaggregation isolates the two phases of large language model serving, but request-level path selection must account for prefill work, cache reuse, and decode demand. We present DolphinRouting, which learns this choice from end-to-end SLO feedback under a given P/D resource allocation. Requests are clustered by raw prompt length, cache-adjusted input lengths on both worker pools, and output-length information. Offline policy search learns one binary action per cluster. Online feature extraction, cluster assignment, and table lookup select local or remote prefill. We evaluate DolphinRouting on a real PD-disaggregated cluster using three public benchmarks, a mixed workload, and real data. Across the mixed workload and real data, DolphinRouting with $k$-means reduces P90 TTFT by 5.7--7.9\% and P90 TPOT by 2.6--10.1\% relative to Dynamo.