Fiddler: CPU-GPU Orchestration for Fast Inference of Mixture-of-Experts Models

📄 arXiv: 2402.07033v3 📥 PDF

作者: Keisuke Kamahori, Tian Tang, Yile Gu, Kan Zhu, Baris Kasikci

分类: cs.LG, cs.AI, cs.DC, cs.OS

发布日期: 2024-02-10 (更新: 2025-05-01)

备注: ICLR2025

🔗 代码/项目: GITHUB

💡 一句话要点

提出Fiddler以解决Mixture-of-Experts模型的资源限制问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: Mixture-of-Experts 推理优化 资源调度 CPU-GPU协同 大型语言模型 边缘计算 自然语言处理

📋 核心要点

  1. 现有方法在资源受限环境中运行大型MoE模型时，面临数据频繁传输带来的显著开销问题。
  2. Fiddler通过优化CPU和GPU资源的使用策略，提供了一种高效的推理解决方案，能够适应不同的推理场景。
  3. 与不同基线相比，Fiddler在单批推理、长预填处理和束搜索推理中分别实现了1.26倍、1.30倍和11.57倍的速度提升。

📝 摘要（中文）

大型语言模型（LLMs）采用Mixture-of-Experts（MoE）架构在多种任务上表现出色。然而，由于模型规模庞大，在资源受限的环境中运行这些模型面临挑战。现有系统尝试利用CPU资源，但频繁的数据传输导致显著开销，或未能充分考虑CPU和GPU的特性。本文提出Fiddler，一个资源高效的MoE模型推理系统，能够在有限的GPU资源下优化CPU和GPU的使用策略。评估结果表明，Fiddler在所有场景下均优于现有最先进系统，单批推理速度提升1.26倍，长预填处理提升1.30倍，束搜索推理提升11.57倍。

🔬 方法详解

问题定义：本文旨在解决在资源受限环境中运行大型Mixture-of-Experts（MoE）模型时，GPU内存不足和频繁数据传输带来的性能瓶颈。现有方法未能有效利用CPU和GPU的特性，导致效率低下。

核心思路：Fiddler通过智能地选择CPU和GPU的执行策略，优化资源使用，减少数据传输开销，从而提高推理效率。该方法考虑了不同推理场景的特点，确保在多种情况下均能表现出色。

技术框架：Fiddler的整体架构包括数据预处理、任务调度和执行策略优化三个主要模块。数据预处理负责准备输入数据，任务调度模块根据当前资源情况选择最优的执行设备，而执行策略优化则动态调整CPU和GPU的负载分配。

关键创新：Fiddler的主要创新在于其动态执行策略的设计，能够根据实时资源情况和任务需求，灵活调整CPU与GPU的协同工作方式。这一设计与传统方法相比，显著减少了数据传输的开销。

关键设计：在设计中，Fiddler采用了自适应的任务调度算法，并通过精确的负载监控来优化资源分配。此外，系统还考虑了不同推理场景下的特定需求，确保在各种情况下均能实现高效推理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Fiddler在多种推理场景中均表现出色，单批推理速度提升1.26倍，长预填处理提升1.30倍，束搜索推理提升高达11.57倍。这些结果表明Fiddler在资源利用效率上显著优于现有最先进系统，具有重要的实际应用价值。

🎯 应用场景

Fiddler的研究成果在多个领域具有广泛的应用潜力，尤其是在需要处理大型语言模型的自然语言处理任务中。其高效的推理能力使得在资源受限的设备上运行复杂模型成为可能，未来可推动智能设备、边缘计算和云计算等领域的发展。

📄 摘要（原文）

Large Language Models (LLMs) with the Mixture-of-Experts (MoE) architectures have shown promising performance on various tasks. However, due to the huge model sizes, running them in resource-constrained environments where the GPU memory is not abundant is challenging. Some existing systems propose to use CPU resources to solve that, but they either suffer from the significant overhead of frequently moving data between CPU and GPU, or fail to consider distinct characteristics of CPUs and GPUs. This paper proposes Fiddler, a resource-efficient inference system for MoE models with limited GPU resources. Fiddler strategically utilizes CPU and GPU resources by determining the optimal execution strategy. Our evaluation shows that, unlike state-of-the-art systems that optimize for specific scenarios such as single batch inference or long prefill, Fiddler performs better in all scenarios. Compared against different baselines, Fiddler achieves 1.26 times speed up in single batch inference, 1.30 times in long prefill processing, and 11.57 times in beam search inference. The code of Fiddler is publicly available at https://github.com/efeslab/fiddler.