From Tokens to Energy Flexibility: Quantization-Enabled Demand Response for Data Centers with LLM Inference Workloads

📄 arXiv: 2606.18851v1 📥 PDF

作者: Bojun Du, Xiaoyi Fan, Ershun Du, Long Chen, Jianpei Han, Qingchun Hou, Ning Zhang, Chongqing Kang

分类: eess.SY

发布日期: 2026-06-17

备注: 10 pages, 7 figures

💡 一句话要点

提出量化驱动的能源管理框架以应对数据中心的LLM推理负载问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大规模语言模型 能源管理 需求响应 量化技术 数据中心 电网优化 成本降低

📋 核心要点

  1. 现有的数据中心能源管理方法未能充分利用LLM推理的内部特性，导致能源管理效率低下。
  2. 本文提出了一种量化驱动的能源管理框架，通过建立量化与功率模型来优化LLM推理的能源管理。
  3. 实验结果表明，该框架在不降低服务令牌量的情况下，成功将数据中心的运营成本降低了34.3%。

📝 摘要（中文）

随着大规模语言模型（LLM）推理的快速增长，数据中心面临着日益严峻的能源管理挑战。传统的数据中心能源管理方法主要依赖于时间和空间的工作负载转移，通常将LLM推理需求视为一个整体负载，未能充分利用LLM服务的内部特性。为了解锁这种灵活性，本文提出了一种量化驱动的能源管理框架，首先建立了量化与功率模型，将每个模型的量化配置映射到一组可调度参数。其次，开发了一个两阶段的量化驱动需求响应模型，考虑了模型实例切换、请求路由和精度选择。最后，提出了一种多校园协同优化方法，将电网侧的电力和碳信号与量化驱动的需求响应模型相结合。案例研究表明，该框架在不减少服务令牌量的情况下，将数据中心的总运营成本降低了34.3%。

🔬 方法详解

问题定义：本文旨在解决传统数据中心能源管理方法未能有效利用LLM推理内部特性的问题，导致能源管理效率低下。现有方法通常将LLM推理需求视为整体负载，忽视了其灵活性。

核心思路：论文的核心思路是通过量化技术来优化LLM推理的能源管理，建立量化与功率的映射关系，从而实现更灵活的需求响应。这样的设计能够充分利用LLM特有的灵活性，提升能源管理的效率。

技术框架：整体架构包括三个主要模块：首先是量化与功率模型的建立，其次是量化驱动的需求响应模型，最后是多校园协同优化方法。这些模块共同作用，实现了对LLM推理负载的高效管理。

关键创新：最重要的技术创新点在于提出了量化驱动的需求响应模型，能够考虑模型实例切换、请求路由和精度选择等因素，与传统方法相比，能够更好地适应电网的需求变化。

关键设计：在模型设计中，关键参数设置包括量化配置的选择和调度策略的优化，损失函数则考虑了能源成本和服务质量的平衡，确保在降低成本的同时不影响服务性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，提出的量化驱动能源管理框架在不减少服务令牌量的情况下，成功将数据中心的总运营成本降低了34.3%。这一显著的成本降低验证了量化技术在电网响应型数据中心能源管理中的有效性，具有重要的实际应用价值。

🎯 应用场景

该研究的潜在应用领域包括数据中心的能源管理、智能电网优化以及大规模语言模型的高效部署。通过量化驱动的能源管理框架，可以在满足电网需求的同时，降低运营成本，提升数据中心的可持续性和经济效益。未来，该框架有望推广至更多类型的计算密集型应用场景。

📄 摘要（原文）

The rapid growth of large language model (LLM) inference is creating significant data-center loads that face increasing energy-management challenges under tightening grid conditions and demand response (DR) requirements. Conventional data-center energy management mainly relies on temporal and spatial workload shifting and campus-level energy asset scheduling, but it usually treats LLM inference demand as an aggregate load. As a result, these approaches fail to exploit the internal characteristics of LLM serving and therefore overlook the flexibility offered by LLM-specific techniques such as model quantization. To unlock this flexibility, this paper proposes a quantization-enabled energy management framework for grid-responsive LLM inference data centers. First, a quantization-to-power model is established to map each model--quantization configuration to a compact set of dispatchable parameters. Second, a two-stage quantization-enabled DR model is developed to account for model instance switching, request routing, and precision selection. Third, a multi-campus co-optimization method is introduced for DR participation by integrating grid-side electricity and carbon signals with the quantization-enabled DR model. Case studies show that the proposed framework reduces total data-center operating cost by 34.3\% without curtailing served token volume, validating model quantization as an effective flexibility lever for grid-responsive LLM data-center energy management.