WattGPU: Predicting Inference Power and Latency on Unseen GPUs and LLMs

📄 arXiv: 2607.02391v1 📥 PDF

作者: Mauricio Fadel Argerich, Jonathan Fürst, Marta Patiño-Martínez

分类: cs.DC, cs.LG

发布日期: 2026-07-02

备注: Accepted at 1st Workshop on Sustainability and Resource-Efficiency of Artificial Intelligence @ IJCAI 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出WattGPU以解决LLM推理能耗与延迟预测问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 GPU能耗 延迟预测 深度学习优化 数据中心管理

📋 核心要点

  1. 现有方法需要对每种LLM与GPU组合进行全面分析，缺乏有效的预测工具，导致能耗优化困难。
  2. WattGPU通过两个预测模型，利用公开的LLM和GPU数据，避免了硬件访问，能够推广到未见GPU和LLM。
  3. 在42个开源LLM和8个GPU的实验中，功耗模型和延迟模型在未见GPU上显著降低了预测误差，提升了预测准确性。

📝 摘要（中文）

大型语言模型（LLM）推理工作负载正在迅速增加数据中心的能耗。优化这些部署需要将特定的LLM与最有效的GPU匹配，但目前的工具无法在不进行全面分析的情况下实现这一目标。为此，本文提出了WattGPU，包含两个预测模型，分别用于平均GPU功耗和跨令牌延迟（ITL）。该方法仅利用公开的LLM元数据和GPU规格，避免了硬件访问或分析的需求，同时能够推广到未见过的NVIDIA服务器级GPU和LLM。通过严格的交叉验证，我们的模型在未见GPU上实现了功耗模型的中位绝对百分比误差≤3.4%，延迟模型在服务器模式下实现了≤8.5%的误差，显著优于传统基线。

🔬 方法详解

问题定义：本文旨在解决大型语言模型推理过程中GPU能耗和延迟预测的难题。现有方法依赖于全面的硬件分析，无法有效推广到未见过的硬件组合，导致能耗优化的局限性。

核心思路：WattGPU的核心思路是构建两个预测模型，分别针对GPU的平均功耗和跨令牌延迟（ITL），仅依赖公开的LLM元数据和GPU规格，从而避免了对硬件的直接访问和分析。

技术框架：该方法的整体架构包括数据收集、特征提取、模型训练和评估四个主要模块。首先收集公开的LLM和GPU数据，然后提取相关特征，接着训练预测模型，最后通过交叉验证评估模型性能。

关键创新：WattGPU的主要创新在于其无需硬件访问的预测能力，能够有效推广到未见GPU和LLM，显著提高了预测的准确性和实用性。与传统的基于物理的基线方法相比，WattGPU在未见组合上的表现有了显著提升。

关键设计：模型训练过程中采用了交叉验证策略，特别是留一法，以确保模型的泛化能力。损失函数设计上，针对功耗和延迟分别进行了优化，确保模型在不同场景下的表现均衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在42个开源LLM和8个GPU的实验中，WattGPU的功耗模型在未见GPU上实现了中位绝对百分比误差≤3.4%，延迟模型在服务器模式下实现了≤8.5%的误差。与传统基线相比，功耗预测的误差降低约4倍，延迟预测降低约2倍，显示出显著的性能提升。

🎯 应用场景

WattGPU的研究成果在数据中心的能耗管理和优化方面具有重要应用价值。通过准确预测LLM推理过程中的GPU能耗和延迟，运营商可以更有效地选择硬件组合，从而降低能耗和运营成本，提升整体系统性能。未来，该方法还可以扩展到其他类型的深度学习模型和硬件平台，进一步推动智能计算的可持续发展。

📄 摘要（原文）

Large Language Model (LLM) inference workloads are a rapidly growing contributor to data center energy consumption. Optimizing these deployments requires matching specific LLMs to the most efficient GPUs, but operators currently lack the tools to do so without exhaustively profiling each combination. While some predictive models exist, they still require profiling data and struggle to generalize to hardware unseen during training. To address this, we introduce \textit{WattGPU}, featuring two predictive models for mean GPU power draw and Inter-Token Latency (ITL). Our approach leverages only publicly available LLM metadata and GPU specifications, eliminating the need for hardware access or profiling while enabling generalization to unseen NVIDIA server-grade GPUs and LLMs. We evaluate our models using rigorous leave-one-GPU-out and leave-one-LLM-out cross-validation on a dataset of 42 open-source LLMs (0.1B--27B parameters) and 8 GPUs under both offline and server scenarios. The mean power draw model achieves a median absolute percentage error of $\leq3.4\%$ for offline and $\leq13.5\%$ for server scenarios on unseen GPUs, while the latency model achieves $\leq8.5\%$ in server mode, both maintaining strong GPU ranking correlations for server scenarios (Kendall $τ\geq0.76$). Compared to standard physically grounded baselines -- Load-Scaled Thermal Design Power (TDP) for power draw and roofline for latency -- our models reduce median absolute percentage error by approximately 4$\times$ on unseen LLM-GPU combinations for server scenarios or approximately 2$\times$ for completely unseen GPUs. WattGPU's data and code are publicly available at https://github.com/maufadel/wattgpu.