FlexLLM: Token-Level Co-Serving of LLM Inference and Finetuning with SLO Guarantees

📄 arXiv: 2402.18789v3 📥 PDF

作者: Gabriele Oliaro, Xupeng Miao, Xinhao Cheng, Vineeth Kada, Mengdi Wu, Ruohan Gao, Yingyi Huang, Remi Delacourt, April Yang, Yingcheng Wang, Colin Unger, Zhihao Jia

分类: cs.DC, cs.CL, cs.LG

发布日期: 2024-02-29 (更新: 2025-10-23)

备注: NSDI 2026

💡 一句话要点

提出FlexLLM以解决大语言模型推理与微调资源浪费问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 微调 推理 资源优化 动态调度

📋 核心要点

  1. 现有方法将推理和微调隔离，导致GPU资源浪费和硬件利用不足。
  2. FlexLLM通过在令牌级别融合推理和微调，提出了一种新的共同服务机制。
  3. 在多项基准测试中，FlexLLM显著提高了微调吞吐量，并保持了推理的服务水平合规性。

📝 摘要（中文）

微调大型语言模型（LLMs）对于任务适应至关重要，但现有的服务架构将推理和微调隔离在不同的GPU集群上，导致资源浪费和硬件利用不足。本文介绍了FlexLLM，这是第一个在共享GPU上通过在令牌级别融合计算来共同服务LLM推理和基于PEFT的微调的系统。FlexLLM的静态编译优化——依赖并行化和图修剪，显著减少了激活内存，最终实现了高达80%的GPU内存节省。在运行时，新的令牌级微调机制与混合令牌调度器配合，动态交错推理和训练令牌，满足严格的延迟服务水平协议（SLO），同时最大化利用率。在LLaMA-3.1-8B、Qwen-2.5-14B和Qwen-2.5-32B的端到端基准测试中，FlexLLM在高达20个请求每秒的情况下保持推理SLO合规，并在重负载下提高微调吞吐量1.9-4.8倍，在轻负载下提高2.5-6.8倍，即使在高峰需求下也能保持超过76%的微调进展。FlexLLM已公开发布。

🔬 方法详解

问题定义：现有的LLM推理和微调方法将两者隔离在不同的GPU集群上，导致资源浪费和硬件利用率低下。

核心思路：FlexLLM通过在令牌级别共同服务推理和微调，利用静态编译优化和动态调度机制，旨在提高资源利用率并满足延迟要求。

技术框架：FlexLLM的整体架构包括静态编译优化模块、动态令牌调度器和混合令牌微调机制，能够在同一GPU上高效交替处理推理和微调任务。

关键创新：FlexLLM的主要创新在于其令牌级的共同服务机制和动态调度策略，这与传统方法的隔离处理形成了鲜明对比。

关键设计：在设计中，采用了依赖并行化和图修剪等静态编译优化技术，显著减少了激活内存的使用，同时通过混合令牌调度实现了推理和微调的动态交错。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FlexLLM在LLaMA-3.1-8B、Qwen-2.5-14B和Qwen-2.5-32B的基准测试中，能够在高达20个请求每秒的情况下保持推理的SLO合规性，同时在重负载下微调吞吐量提高了1.9-4.8倍，轻负载下提高了2.5-6.8倍，确保了高峰需求下的微调进展超过76%。

🎯 应用场景

FlexLLM在大语言模型的推理和微调领域具有广泛的应用潜力，尤其适用于需要快速适应新任务的场景，如对话系统、文本生成和机器翻译等。其高效的资源利用和性能提升将推动相关技术的进一步发展和商业化应用。

📄 摘要（原文）

Finetuning large language models (LLMs) is essential for task adaptation, yet today's serving stacks isolate inference and finetuning on separate GPU clusters -- wasting resources and under-utilizing hardware. We introduce FlexLLM, the first system to co-serve LLM inference and PEFT-based finetuning on shared GPUs by fusing computation at the token level. FlexLLM's static compilation optimizations -- dependent parallelization and graph pruning significantly shrink activation memory, leading to end-to-end GPU memory savings by up to 80%. At runtime, a novel token-level finetuning mechanism paired with a hybrid token scheduler dynamically interleaves inference and training tokens within each co-serving iteration, meeting strict latency SLOs while maximizing utilization. In end-to-end benchmarks on LLaMA-3.1-8B, Qwen-2.5-14B, and Qwen-2.5-32B, FlexLLM maintains inference SLO compliance at up to 20 req/s, and improves finetuning throughput by $1.9-4.8\times$ under heavy inference workloads and $2.5-6.8\times$ under light loads, preserving over 76% of peak finetuning progress even at peak demand. FlexLLM is publicly available at https://flexllm.github.io.