WattGPU: Predicting Inference Power and Latency on Unseen GPUs and LLMs

📄 arXiv: 2607.02391 📥 PDF

作者: Mauricio Fadel Argerich, Jonathan Fürst, Marta Patiño-Martínez

分类: cs.DC, cs.LG

发布日期: 2026-07-05

💡 一句话要点

提出WattGPU以解决LLM推理能耗与延迟预测问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 GPU功耗预测 延迟预测 深度学习优化 数据中心能耗

📋 核心要点

  1. 现有方法需要对每种LLM与GPU组合进行全面分析，缺乏有效的预测工具，导致优化效率低下。
  2. WattGPU通过利用公开的LLM元数据和GPU规格，提出了两个预测模型，分别用于功耗和延迟的预测，避免了对硬件的直接访问。
  3. 实验结果显示，WattGPU在未见GPU上的功耗预测误差降低至≤3.4%，延迟预测误差降低至≤8.5%，显著优于传统基线模型。

📝 摘要（中文）

大型语言模型（LLM）推理工作负载正在迅速增加数据中心的能耗。优化这些部署需要将特定的LLM与最有效的GPU匹配，但目前缺乏无需全面分析每种组合的工具。虽然已有一些预测模型，但仍需配置文件数据，并且在训练期间未见过的硬件上难以泛化。为此，本文提出了WattGPU，包含两个预测模型用于平均GPU功耗和跨令牌延迟（ITL）。该方法仅利用公开的LLM元数据和GPU规格，消除了对硬件访问或分析的需求，同时能够泛化到未见过的NVIDIA服务器级GPU和LLM。通过严格的交叉验证评估，功耗模型在未见GPU上的中位绝对百分比误差为≤3.4%，延迟模型在服务器模式下为≤8.5%。

🔬 方法详解

问题定义：本文旨在解决大型语言模型推理过程中GPU功耗和延迟预测的难题。现有方法依赖于全面的硬件分析，无法有效泛化到未见过的GPU和LLM组合，导致能耗和性能优化的困难。

核心思路：WattGPU的核心思路是利用公开的LLM元数据和GPU规格，构建两个预测模型，分别针对GPU的平均功耗和跨令牌延迟进行预测，从而避免了对硬件的直接接入和分析。

技术框架：WattGPU的整体架构包括数据收集、特征提取、模型训练和预测四个主要模块。数据收集阶段获取公开的LLM和GPU信息，特征提取阶段将这些信息转化为模型可用的特征，模型训练阶段使用交叉验证方法进行模型优化，最后在预测阶段输出功耗和延迟的估计值。

关键创新：WattGPU的主要创新在于其能够在未见过的GPU和LLM上进行有效的功耗和延迟预测，显著提高了预测的泛化能力，且不依赖于传统的物理基础模型。

关键设计：在模型设计中，采用了适应性损失函数以提高预测准确性，并通过交叉验证确保模型的鲁棒性。模型结构方面，使用了多层感知机（MLP）来处理特征输入，优化了参数设置以适应不同规模的LLM和GPU组合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

WattGPU在未见GPU上的功耗预测中位绝对百分比误差为≤3.4%，延迟预测误差为≤8.5%，相较于传统基线模型，功耗预测误差降低约4倍，延迟预测误差降低约2倍，显示出显著的性能提升和强大的泛化能力。

🎯 应用场景

WattGPU的研究成果在数据中心的能耗优化、GPU资源配置和LLM推理效率提升等领域具有广泛的应用潜力。通过准确预测功耗和延迟，运营商可以更有效地选择硬件配置，从而降低运营成本并提高系统性能。未来，该方法还可扩展至其他类型的深度学习模型和硬件平台，进一步推动AI技术的可持续发展。

📄 摘要（原文）

Large Language Model (LLM) inference workloads are a rapidly growing contributor to data center energy consumption. Optimizing these deployments requires matching specific LLMs to the most efficient GPUs, but operators currently lack the tools to do so without exhaustively profiling each combination. While some predictive models exist, they still require profiling data and struggle to generalize to hardware unseen during training. To address this, we introduce \textit{WattGPU}, featuring two predictive models for mean GPU power draw and Inter-Token Latency (ITL). Our approach leverages only publicly available LLM metadata and GPU specifications, eliminating the need for hardware access or profiling while enabling generalization to unseen NVIDIA server-grade GPUs and LLMs. We evaluate our models using rigorous leave-one-GPU-out and leave-one-LLM-out cross-validation on a dataset of 42 open-source LLMs (0.1B--27B parameters) and 8 GPUs under both offline and server scenarios. The mean power draw model achieves a median absolute percentage error of $\leq3.4\%$ for offline and $\leq13.5\%$ for server scenarios on unseen GPUs, while the latency model achieves $\leq8.5\%$ in server mode, both maintaining strong GPU ranking correlations for server scenarios (Kendall $\tau\geq0.76$). Compared to standard physically grounded baselines -- Load-Scaled Thermal Design Power (TDP) for power draw and roofline for latency -- our models reduce median absolute percentage error by approximately 4$\times$ on unseen LLM-GPU combinations for server scenarios or approximately 2$\times$ for completely unseen GPUs. WattGPU's data and code are publicly available atthis https URL.