Hybrid Heterogeneous Clusters Can Lower the Energy Consumption of LLM Inference Workloads

📄 arXiv: 2407.00010v1 📥 PDF

作者: Grant Wilkins, Srinivasan Keshav, Richard Mortier

分类: cs.DC, cs.AI

发布日期: 2024-04-25

💡 一句话要点

提出混合异构集群以降低大型语言模型推理能耗

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 能耗优化 混合数据中心 动态调度 硬件加速器

📋 核心要点

  1. 现有方法在处理大型语言模型时，往往未能有效考虑不同硬件的能效差异，导致能耗高企。
  2. 本文提出了一种混合数据中心模型，通过动态调度将任务分配到不同能效的硬件上，以降低能耗。
  3. 实验结果显示，该方法相比于传统基线，能有效降低7.5%的CPU和GPU能耗，具有显著的节能效果。

📝 摘要（中文）

大型语言模型（LLMs）的训练和使用都需要大量能源，其日益普及引发了对数据中心能源效率和可持续性的关注。本文提出了一种混合数据中心模型，利用基于成本的调度框架，动态分配LLM任务到不同能效和计算能力的硬件加速器上。具体而言，我们的工作负载感知策略根据查询的输入和输出标记数量，决定任务是由节能处理器还是高性能GPU处理。对代表性LLM数据集的分析表明，该混合策略相比于不考虑工作负载的基线，能够将CPU+GPU能耗降低7.5%。

🔬 方法详解

问题定义：本文旨在解决大型语言模型推理过程中数据中心的高能耗问题。现有方法未能充分利用不同硬件的能效差异，导致资源浪费和能耗增加。

核心思路：论文提出了一种混合数据中心模型，结合成本调度框架，动态分配任务到能效和性能各异的硬件加速器上。通过分析输入和输出标记数量，优化任务分配策略。

技术框架：整体架构包括任务调度模块、硬件选择模块和能耗监测模块。任务调度模块负责根据工作负载特征选择合适的硬件，硬件选择模块则根据能效和性能进行动态调整。

关键创新：最重要的创新在于提出了工作负载感知的调度策略，能够根据具体任务特征选择最优硬件，显著提高能效。与传统方法相比，该策略能够更灵活地适应不同的计算需求。

关键设计：在参数设置上，调度算法考虑了不同硬件的能效比和计算能力，损失函数设计为能耗与性能的权衡，确保在降低能耗的同时不牺牲计算性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的混合调度策略相比于不考虑工作负载的基线，能够将CPU和GPU的能耗降低7.5%。这一显著的能效提升，展示了该方法在实际应用中的潜力和价值。

🎯 应用场景

该研究的潜在应用领域包括云计算数据中心、人工智能服务提供商以及任何需要高效处理大型语言模型的场景。通过降低能耗，不仅能减少运营成本，还能提升数据中心的可持续性，符合未来绿色计算的发展趋势。

📄 摘要（原文）

Both the training and use of Large Language Models (LLMs) require large amounts of energy. Their increasing popularity, therefore, raises critical concerns regarding the energy efficiency and sustainability of data centers that host them. This paper addresses the challenge of reducing energy consumption in data centers running LLMs. We propose a hybrid data center model that uses a cost-based scheduling framework to dynamically allocate LLM tasks across hardware accelerators that differ in their energy efficiencies and computational capabilities. Specifically, our workload-aware strategy determines whether tasks are processed on energy-efficient processors or high-performance GPUs based on the number of input and output tokens in a query. Our analysis of a representative LLM dataset, finds that this hybrid strategy can reduce CPU+GPU energy consumption by 7.5% compared to a workload-unaware baseline.