Mélange: Cost Efficient Large Language Model Serving by Exploiting GPU Heterogeneity

📄 arXiv: 2404.14527v4 📥 PDF

作者: Tyler Griggs, Xiaoxuan Liu, Jiaxiang Yu, Doyoung Kim, Wei-Lin Chiang, Alvin Cheung, Ion Stoica

分类: cs.DC, cs.LG

发布日期: 2024-04-22 (更新: 2024-07-22)

💡 一句话要点

提出Mélange框架以降低大语言模型服务的GPU成本

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 GPU分配 成本优化 异构计算 机器学习服务

📋 核心要点

  1. 现有方法主要关注推理引擎的改进，未能有效选择适合特定LLM服务的GPU类型，导致成本高昂。
  2. Mélange框架通过分析LLM服务的特征，提出了一种异构GPU类型的混合分配策略，以实现最低成本的GPU配置。
  3. 实验结果表明，Mélange在不同场景下显著降低了部署成本，对话场景降低77%，文档场景降低33%，混合场景降低51%。

📝 摘要（中文）

大语言模型（LLMs）越来越多地被集成到在线服务中，但由于对昂贵GPU实例的需求，其部署成本仍然高昂。以往的研究主要集中在改进推理引擎上，而对如何选择最具成本效益的GPU类型关注较少。通过全面调查，发现请求大小、请求速率和服务级别目标（SLO）等三个关键特征对GPU成本效率有显著影响。基于此，本文提出了Mélange框架，自动高效地为特定LLM服务推导出最低成本的GPU分配方案。与仅使用单一GPU类型相比，Mélange在对话场景中可降低部署成本高达77%。

🔬 方法详解

问题定义：本文旨在解决大语言模型服务中GPU成本高昂的问题。现有方法未能充分考虑不同GPU类型的成本效率，导致资源浪费和高额开支。

核心思路：Mélange框架通过将GPU分配任务形式化为一个成本感知的装箱问题，利用服务的特征（如请求大小、请求速率和SLO）来优化GPU的选择和分配，从而实现成本最小化。

技术框架：Mélange的整体架构包括三个主要模块：特征分析模块、GPU选择模块和成本优化模块。特征分析模块负责提取服务的关键特征，GPU选择模块根据特征选择合适的GPU类型，成本优化模块则负责实现最优的GPU分配。

关键创新：Mélange的主要创新在于其灵活性和异构性，能够根据不同服务的特征动态调整GPU分配策略，与传统方法相比，能够显著提高成本效率。

关键设计：在设计中，Mélange考虑了服务的独特特征，通过约束条件确保GPU分配的有效性。此外，采用了适应性算法来处理不同的请求模式和负载情况，确保在多种场景下的高效运行。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Mélange在实验中表现出色，相较于单一GPU类型的使用，在对话场景中成本降低高达77%，在文档场景中降低33%，混合场景中降低51%。这些结果表明，Mélange能够有效提升GPU资源的利用率，显著降低运营成本。

🎯 应用场景

Mélange框架具有广泛的应用潜力，尤其适用于需要大规模部署大语言模型的在线服务，如聊天机器人、文档生成和内容推荐等。通过降低GPU成本，Mélange能够使更多企业和开发者能够负担得起高性能的AI服务，推动AI技术的普及和应用。

📄 摘要（原文）

Large language models (LLMs) are increasingly integrated into many online services, yet they remain cost-prohibitive to deploy due to the requirement of expensive GPU instances. Prior work has addressed the high cost of LLM serving by improving the inference engine, but less attention has been given to selecting the most cost-efficient GPU type(s) for a specific LLM service. There is a large and growing landscape of GPU types and, within these options, higher cost does not always lead to increased performance. Instead, through a comprehensive investigation, we find that three key LLM service characteristics (request size, request rate, SLO) strongly influence GPU cost efficiency, and differing GPU types are most cost efficient for differing LLM service settings. As a result, the most cost-efficient allocation for a given service is typically a mix of heterogeneous GPU types. Based on this analysis, we introduce Mélange, a GPU allocation framework that navigates these diverse LLM service characteristics and heterogeneous GPU option space to automatically and efficiently derive the minimal-cost GPU allocation for a given LLM service. We formulate the GPU allocation task as a cost-aware bin packing problem where GPUs are bins and items are slices of the service workload. Our formulation's constraints account for a service's unique characteristics, allowing Mélange to be flexible to support diverse service settings and heterogeneity-aware to adapt the GPU allocation to a specific service. Compared to using only a single GPU type, Mélange reduces deployment costs by up to 77% in conversational settings, 33% in document-based settings, and 51% in a mixed setting.