The Real Cost of Context: Predicting Compute Time and Energy Consumption in LLM Prefill and Decode Phases

📄 arXiv: 2610.39621v1 📥 PDF

作者: Lars Krupp, Daniel Geißler, Francisco M. Calatrava-Nicolas, Stefan Gerd Fritsch, Paul Lukowicz, Jakob Karolus

分类: cs.AI

发布日期: 2026-10-29

💡 一句话要点

提出计算时间和能耗预测模型以优化LLM的上下文处理

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 能耗预测 计算时间 智能代理 广义线性模型

📋 核心要点

  1. 现有方法主要关注生成的输出令牌，忽视了大输入上下文对能耗的影响，导致能耗估算不准确。
  2. 论文通过系统分析不同令牌长度下的计算时间和能耗，提出了一种新的能耗预测模型。
  3. 研究结果表明，解码计算时间与输出长度线性相关，而预填充计算时间与输入长度呈现线性和二次关系，提供了新的能耗估算方法。

📝 摘要（中文）

将大型语言模型（LLMs）整合到智能架构中显著增加了令牌消耗，导致对其能耗的关注。然而，估算基于API的专有模型的能耗仍然具有挑战性，现有方法主要关注生成的输出令牌，而忽视了智能工作流中大输入上下文的影响。为了解决这一问题，本文系统地分析了不同预填充（输入）和解码（输出）令牌长度下的计算时间和能耗。研究表明，解码计算时间和能耗与输出长度呈线性关系，而预填充计算时间和能耗则对输入长度呈现线性和二次关系。这些发现表明输入上下文在大上下文工作负载中变得至关重要。此外，计算时间在缺乏直接能量测量时可作为能耗的可靠代理。我们的映射框架能够实现精确的能耗估计，支持更可持续的智能AI部署决策。

🔬 方法详解

问题定义：本文旨在解决在大型语言模型（LLMs）中，如何准确估算基于API的模型在预填充和解码阶段的计算时间和能耗的问题。现有方法往往忽略了输入上下文的影响，导致能耗估算不准确。

核心思路：论文提出通过系统分析不同长度的输入和输出令牌，建立计算时间与能耗之间的关系模型，从而实现更准确的能耗预测。通过引入线性和二次关系，考虑输入上下文的影响，提升了能耗估算的准确性。

技术框架：研究采用广义线性模型对计算时间和能耗进行建模，分析了预填充和解码阶段的不同令牌长度对能耗的影响。主要模块包括数据采集、模型训练和能耗预测。

关键创新：最重要的创新在于提出了考虑输入上下文影响的能耗预测模型，填补了现有方法的空白，使得能耗估算更加全面和准确。

关键设计：在模型设计中，采用了广义线性模型来捕捉计算时间与能耗之间的关系，并通过实验验证了模型的有效性。关键参数设置包括输入和输出令牌的长度，以及相应的计算时间和能耗测量。

📊 实验亮点

实验结果显示，解码计算时间和能耗与输出长度呈线性关系，而预填充计算时间和能耗对输入长度呈现线性和二次关系。这一发现为能耗估算提供了新的视角，尤其是在缺乏直接能量测量的情况下，计算时间可作为能耗的可靠代理。

🎯 应用场景

该研究的潜在应用领域包括智能代理、自然语言处理和大规模AI系统的能耗管理。通过提供准确的能耗估算，研究能够帮助开发者在部署智能AI时做出更可持续的决策，降低能耗和环境影响。未来，随着LLM的广泛应用，该方法将对提高能效和优化资源配置产生重要影响。

📄 摘要（原文）

The integration of Large Language Models (LLMs) into agentic architectures has substantially increased token consumption, raising concerns about their energy footprint. Yet, estimating the energy consumption of proprietary API-based models remains challenging, and existing approaches focus primarily on generated output tokens while overlooking the impact of the large input contexts characteristic of agentic workflows. To address this gap, we systematically profile compute time and energy consumption across a wide range of prefill (input) and decode (output) token lengths. Using generalized linear models, we show that decode compute time and energy scale linearly with output length, whereas prefill compute time and energy exhibit both linear and quadratic scaling with input length. These findings demonstrate that input context becomes a relevant factor for large-context workloads. Furthermore, we show that compute time serves as a reliable proxy for energy consumption when direct energy measurements are unavailable. Our mapping framework enables precise energy estimation and supports more sustainable deployment decisions for agentic AI.