LLM Serving in the Wild: An Empirical Study of Frameworks, Methods, and System Designs

📄 arXiv: 2608.03036v1 📥 PDF

作者: Forough Majidi, Mohammad Mehdi Morovati, Foutse Khomh, Heng Li

分类: cs.SE, cs.AI, cs.LG

发布日期: 2026-08-04

💡 一句话要点

研究LLM服务框架以优化软件工程中的推理效率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 服务框架 推理效率 资源管理 开源软件

📋 核心要点

  1. 现有的LLM服务方法在推理效率和资源管理方面存在显著挑战，尤其是在延迟和吞吐量的平衡上。
  2. 本研究通过分析五种LLM特定框架，探讨了它们在开源软件系统中的实际应用和组合使用情况。
  3. 研究发现vLLM是最受欢迎的框架，并且并行计算和内存管理是最常用的服务方法，框架的采用因模型类别和应用场景而异。

📝 摘要（中文）

大型语言模型（LLMs）已被集成到软件系统和人工智能服务中，因此高效的LLM服务成为软件工程中的一个重要问题。LLM服务面临着推理所需的计算、内存、GPU资源和执行的挑战，同时还需保持低延迟和高吞吐量。尽管已有研究提出了LLM推理、优化和服务的技术与框架，但在实际应用中的采用情况仍不明确。本研究调查了开源软件系统中LLM服务框架和方法的使用情况，识别并分析了五种特定于LLM的框架：vLLM、SGLang、TensorRT-LLM、LMDeploy和FlashInfer。研究结果显示，vLLM在流行度和采用率上最为显著，而并行计算、内存管理和网络剪枝是最常用的服务方法类别。整体而言，本研究为LLM服务框架在实践中的采用提供了大规模的实证特征，并为研究人员、框架维护者和从业者提供了有价值的见解。

🔬 方法详解

问题定义：本研究旨在解决大型语言模型（LLM）服务中的效率和资源管理问题，现有方法在实际应用中采用情况不明，且缺乏对不同框架的比较分析。

核心思路：通过实证研究，分析不同LLM服务框架的使用情况，识别其在开源软件系统中的实际应用，探讨框架之间的组合使用及其对性能的影响。

技术框架：研究分析了五种LLM特定框架（vLLM、SGLang、TensorRT-LLM、LMDeploy、FlashInfer），并对它们的采用情况进行了分类和比较，关注不同模型类别和应用场景的差异。

关键创新：本研究的创新在于提供了对LLM服务框架在实际应用中的大规模实证特征的描述，揭示了框架采用的多样性及其对推理效率的影响。

关键设计：研究中重点关注了并行计算、内存管理和网络剪枝等关键技术，分析了这些方法在不同框架中的实现方式及其对性能的提升效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究结果表明，vLLM是最受欢迎的框架，采用率最高。并行计算、内存管理和网络剪枝是最常用的服务方法。多框架使用的限制表明开发者通常依赖单一框架，但组合框架能够连接服务栈中的互补能力。

🎯 应用场景

该研究的潜在应用领域包括软件工程、人工智能服务和云计算基础设施等。通过优化LLM服务框架的使用，开发者可以提高推理效率，降低资源消耗，从而推动更高效的AI应用和服务的落地，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large Language Models (LLMs) are integrated into software systems and AI services, making efficient LLM serving a concern for software engineering. Serving LLMs is challenging because inference requires computation, memory, GPU resources, and execution while maintaining latency and throughput. Although prior research has proposed LLM inference, optimization, and serving techniques and frameworks, little is known about how they are adopted in practice. In this study, we investigate the use of LLM serving frameworks and serving methods in open-source software systems. We identify and analyze five LLM-specific frameworks: vLLM, SGLang, TensorRT-LLM, LMDeploy, and FlashInfer. We examine how these frameworks and techniques are adopted individually and in combination, how adoption varies across categories of LLMs, and how repositories differ in intent, focus, use case, and architectural design. Our results show that vLLM is the most visible framework in popularity and adoption, while parallel computation, memory management, and network pruning are the most frequently used serving-method categories. Multi-framework usage is limited, suggesting that developers rely on a single serving framework; however, combined frameworks connect complementary capabilities across the serving stack. Framework adoption varies across model families, modalities, model sizes, domain specializations, and deployment settings. Repository-level analysis shows that LLM serving frameworks support applications and architectures, including Reinforcement Learning (RL)-based reasoning, multimodal generation and understanding, microservices, and cloud infrastructure. Overall, this study provides a large-scale empirical characterization of LLM serving framework adoption in practice and offers insights for researchers, framework maintainers, and practitioners working on LLM systems.