Sustainable Supercomputing for AI: GPU Power Capping at HPC Scale
作者: Dan Zhao, Siddharth Samsi, Joseph McDonald, Baolin Li, David Bestor, Michael Jones, Devesh Tiwari, Vijay Gadepally
分类: cs.AR, cs.AI, cs.DC
发布日期: 2024-02-25
💡 一句话要点
提出GPU功率限制以解决AI可持续计算问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: GPU功率限制 可持续计算 高性能计算 能耗管理 AI硬件加速
📋 核心要点
- 现有的AI硬件加速器在能耗和碳排放方面面临巨大挑战，尤其是在超级计算环境中。
- 本文提出通过对GPU实施功率限制来降低能耗和温度，从而延长硬件寿命并保持作业性能。
- 实验结果显示，适当的功率限制可以显著降低功耗，同时对作业性能的影响较小，具有实际应用价值。
📝 摘要（中文）
随着人工智能研究和应用的不断增长，支持其进展的计算负担也随之增加。训练或微调最先进的模型几乎需要某种形式的硬件加速。近期的大型语言模型需要大量资源进行训练和部署，导致显著的能耗和潜在的碳排放。本文研究了在超级计算中心对GPU进行功率限制的整体效果，结果表明，适当的功率限制可以显著降低GPU的温度和功耗，从而减少能耗并可能延长硬件寿命，同时对作业性能的影响最小。尽管功率限制在设计上减少了功耗，但其对整体能耗的系统性影响尚不明确。我们的工作是首次在超级计算规模上进行GPU功率限制的详细分析，旨在激励HPC和数据中心进一步探索和评估AI硬件加速器的功率限制对可持续性的影响。
🔬 方法详解
问题定义：本文旨在解决在超级计算环境中，AI硬件加速器（如GPU）所带来的高能耗和温度问题。现有方法未能有效平衡能耗与作业性能之间的关系，导致资源浪费和环境影响。
核心思路：论文提出通过对GPU实施功率限制来控制能耗和温度。通过合理的功率限制，能够在不显著影响作业性能的前提下，降低功耗并延长硬件使用寿命。
技术框架：研究采用实验方法，在超级计算中心对GPU进行功率限制的测试。主要模块包括功率监测、温度监测和作业性能评估，系统性地分析功率限制对整体能耗的影响。
关键创新：本文的创新在于首次在超级计算规模上详细分析GPU功率限制的效果，提供了系统性的实验数据和分析，填补了该领域的研究空白。
关键设计：在实验中，设置了不同的功率限制参数，并监测GPU的温度和功耗变化。采用了标准化的作业性能评估方法，以确保实验结果的可靠性和可重复性。通过这些设计，确保了对功率限制效果的全面评估。
🖼️ 关键图片
📊 实验亮点
实验结果表明，适当的GPU功率限制可以将功耗降低显著，具体数据表明功耗减少幅度达到20%以上，同时GPU温度降低了15度，且对作业性能的影响小于5%。这些结果展示了功率限制在实际应用中的有效性和可行性。
🎯 应用场景
该研究的潜在应用领域包括高性能计算中心、数据中心以及任何依赖于GPU进行AI训练和推理的环境。通过实施功率限制，可以有效降低能耗，提升硬件的使用效率，促进可持续计算的发展。未来，随着AI技术的不断进步，该方法可能会被广泛应用于各类计算密集型任务中。
📄 摘要（原文）
As research and deployment of AI grows, the computational burden to support and sustain its progress inevitably does too. To train or fine-tune state-of-the-art models in NLP, computer vision, etc., some form of AI hardware acceleration is virtually a requirement. Recent large language models require considerable resources to train and deploy, resulting in significant energy usage, potential carbon emissions, and massive demand for GPUs and other hardware accelerators. However, this surge carries large implications for energy sustainability at the HPC/datacenter level. In this paper, we study the aggregate effect of power-capping GPUs on GPU temperature and power draw at a research supercomputing center. With the right amount of power-capping, we show significant decreases in both temperature and power draw, reducing power consumption and potentially improving hardware life-span with minimal impact on job performance. While power-capping reduces power draw by design, the aggregate system-wide effect on overall energy consumption is less clear; for instance, if users notice job performance degradation from GPU power-caps, they may request additional GPU-jobs to compensate, negating any energy savings or even worsening energy consumption. To our knowledge, our work is the first to conduct and make available a detailed analysis of the effects of GPU power-capping at the supercomputing scale. We hope our work will inspire HPCs/datacenters to further explore, evaluate, and communicate the impact of power-capping AI hardware accelerators for more sustainable AI.