Characterization of Request and Token Energy Costs for LLM Inference Workloads on GPU Platforms

📄 arXiv: 2608.28044v1 📥 PDF

作者: Prabhu Vellaisamy, Vanessa Lam, Shawn Blanton, John Paul Shen

分类: cs.PF, cs.DC, cs.LG

发布日期: 2026-08-28

备注: Accepted at the 2026 IEEE International Symposium on Workload Characterization (IISWC 2026). 13 pages, 6 figures, 9 tables

💡 一句话要点

提出LLM推理能耗模型以优化GPU能效

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 能耗优化 GPU推理 能量模型 稀疏路由 批处理技术 机器学习

📋 核心要点

  1. 现有方法在LLM推理中存在能耗与定价不匹配的问题，导致能量效率评估不准确。
  2. 论文提出了一种分解能量模型，考虑固定的预填充和生成设置成本，以及每个输出令牌的边际能量消耗。
  3. 实验结果显示，增加输出长度和批处理大小可以显著降低令牌能量，同时提高总推理能量，尤其在稀疏路由的MoE模型中效果明显。

📝 摘要（中文）

大型语言模型（LLM）推理服务的定价以令牌为基础，但GPU能耗在推理窗口期间消耗。这种会计不匹配使得令牌归一化指标不完整，因为即使总请求能量增加，平均输出令牌能量也可能下降。本文通过分解能量模型来表征这种行为，评估了NVIDIA H100和H200 GPU上的LLM推理能量模型，报告了请求能量和令牌能量与模型类型、阶段、批量大小、上下文长度和输出长度的关系。实验结果表明，能量感知服务应同时优化请求能量和令牌能量，而不仅仅是降低每令牌能量成本。

🔬 方法详解

问题定义：本文旨在解决大型语言模型推理中能耗与令牌定价之间的不匹配问题。现有方法未能全面考虑推理过程中的能量消耗，导致能量效率评估不准确。

核心思路：论文提出了一种分解能量模型，区分固定的预填充和生成设置成本，以及每个输出令牌的边际能量消耗，从而更准确地评估能量使用情况。

技术框架：整体架构包括能量模型的构建和评估，主要模块包括固定能量成本的计算和每个输出令牌的边际能量分析。实验在NVIDIA H100和H200 GPU上进行，涵盖不同模型类型和参数设置。

关键创新：最重要的技术创新在于提出了一个综合考虑请求能量和令牌能量的能量模型，强调了在优化过程中同时关注这两者的重要性。与现有方法相比，提供了更全面的能量消耗视角。

关键设计：关键参数包括模型类型、批量大小、上下文长度和输出长度的设置。通过对这些参数的系统评估，揭示了它们对能量消耗的影响，尤其是在MoE模型中，稀疏路由和专家执行的设计对能量消耗有显著影响。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，在H200 GPU上，Llama-3.2-1B模型在批量大小为16和上下文长度为4K时，输出长度从10增加到512时，令牌能量从7.46 J/token降至0.72 J/token，而总推理能量从1.19 kJ增加到5.93 kJ。批处理也能降低令牌能量，但增益受上下文限制，表明能量优化的复杂性。

🎯 应用场景

该研究的潜在应用领域包括云计算服务、AI推理优化和高效能计算平台。通过优化LLM推理的能耗，可以降低运营成本，提高环境可持续性，推动AI技术的广泛应用。未来，研究成果可能影响GPU架构设计和能效评估标准。

📄 摘要（原文）

Large language model (LLM) inference serving is priced by tokens, but GPU energy is consumed over inference windows. This accounting mismatch makes token-normalized metrics incomplete, since average output-token energy can decrease even when total request energy increases. We characterize this behavior with a decomposed energy model: a fixed one-time prefill with a fixed generation setup cost, while each output-token generation step adds marginal step energy. We evaluate this LLM inference energy model on NVIDIA H100 and H200 GPUs across dense and mixture-of-experts (MoE) models, reporting both request energy and token energy as functions of model type (M), phase (P), batch size (B), context length (C), and output length (N). For Llama-3.2-1B on H200 at batch-16 and context-4K, increasing output length from 10 to 512 tokens reduces token energy from 7.46 to 0.72 J/token while total batched inference-window energy increases from 1.19 to 5.93 kJ. Batching also reduces token energy, but the gain is context-bounded: at 10 output tokens, the batch-16 to batch-1 gain falls from 6.31x at context-512 to 1.17x at context-4K. MoE models amplify this effect: sparse routing and fragmented expert execution increase fixed energy at low concurrency, while batching spreads that energy across more generated tokens and substantially narrows the dense-vs.-MoE token-energy gap. These results show that energy-aware serving should jointly optimize both request energy and token energy, rather than only reducing per-token energy cost.