Creating Power Flexibility in Datacenters via Query Routing
作者: Shivam Patel, Bingqing Chen, Jared Fernandez, Guannan Qu, Gauri Joshi
分类: cs.AI
发布日期: 2026-11-03
💡 一句话要点
通过查询路由实现数据中心的电力灵活性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 电力灵活性 查询路由 数据中心 大型语言模型 功耗管理 动态分配 GPU平台 智能调度
📋 核心要点
- 核心问题：大型语言模型推理的能源需求不断增长，现有数据中心在电力需求灵活性方面面临挑战。
- 方法要点：提出通过查询路由动态分配查询，以实现电力需求灵活性，确保服务不中断。
- 实验或效果：在一万台H100 GPU的数据中心中，展示了高达16%的电力灵活性，90%的目标功率减少在约10秒内实现。
📝 摘要（中文）
随着大型语言模型推理对能源需求的增加，数据中心需要提供电力需求灵活性以支持安全的电网操作，同时保持交互工作负载的服务。本文研究了查询路由作为实现这一能力的机制，通过动态分配查询到不同的语言模型实例，而不延迟请求。我们开发了一个通用的分析框架，将查询到达率和序列长度分布与模型实例的令牌迭代时间、请求驻留时间、服务能力和功耗联系起来。利用该框架，我们表征了可行的查询路由分配及其对应的电力需求灵活性，从而选择路由策略以实现所需的功耗行为。我们在四个GPU平台上验证了该框架，涵盖从10亿到700亿参数的语言模型，估计可实现的电力灵活性时平均绝对百分比误差为2.8%。
🔬 方法详解
问题定义：本文旨在解决大型语言模型推理过程中数据中心电力需求灵活性不足的问题。现有方法往往无法在不延迟请求的情况下动态调整电力需求，导致服务效率低下。
核心思路：通过查询路由机制，动态分配查询到不同的语言模型实例，从而实现电力需求的灵活调整。该设计旨在在保证服务质量的前提下，优化电力使用效率。
技术框架：整体架构包括查询到达率分析、序列长度分布建模、令牌迭代时间计算、请求驻留时间评估、服务能力和功耗预测等模块。通过这些模块的协同工作，形成一个完整的查询路由优化流程。
关键创新：最重要的创新在于建立了一个通用的分析框架，能够将查询特征与电力需求灵活性直接关联，提供了一种新的视角来优化数据中心的电力管理。
关键设计：在模型设计中，采用了特定的参数设置和损失函数，以确保查询路由的高效性和准确性。同时，网络结构经过优化，以适应不同规模的语言模型。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在模拟的10,000 H100 GPU数据中心中，查询路由机制实现了高达16%的电力灵活性，且90%的目标功率减少在约10秒内完成。这一结果显著优于传统方法，展示了查询路由在电力管理中的有效性。
🎯 应用场景
该研究的潜在应用领域包括大型语言模型的推理服务、云计算数据中心的电力管理以及智能电网的优化调度。通过实现电力需求灵活性，数据中心能够在高负载情况下保持服务质量，同时降低能源成本，提升整体运营效率。未来，该框架还可以扩展到其他类型的计算任务和资源管理场景中。
📄 摘要（原文）
The growing energy requirements of large language model inference highlight the need for datacenters to support safe grid operation by providing power demand flexibility, while maintaining service for interactive workloads. This work investigates query routing as a mechanism to enable such capability by dynamically allocating queries across different language model instances without deferring requests. We develop a general analytical framework that connects query arrival rates and sequence length distributions to token iteration time, request residence time, serving capacity, and power consumption of model instances. Leveraging this framework, we characterize the feasible query routing allocations and the corresponding power demand flexibilities, enabling the selection of routing strategies to achieve desired power consumption behavior. We validate our framework across four GPU platforms on language models ranging from 1B to 70B parameters, obtaining 2.8% mean absolute percentage error in estimating achievable power flexibility. We evaluate our approach on a real trace-driven simulation of a 10,000 H100 GPUs datacenter, exhibiting flexibility up to 16% of total power consumption, with 90% of the desired power reduction achieved within approximately 10 seconds. These results establish query routing as an effective mechanism for datacenter power demand flexibility and demonstrate the broader applicability of our proposed framework to datacenter level planning and orchestration.