CloudCons: A Comprehensive End-to-End Benchmark for Cloud Resource Consolidation
作者: Xiaobin Zhang, Lefei Shen, Mouxiang Chen, Zhuo Li, Hongkai Li, Han Fu, Jianling Sun, Xiaoxue Ren, Chenghao Liu
分类: cs.AI
发布日期: 2026-06-11
备注: Accepted to KDD 2026
💡 一句话要点
提出CloudCons以解决云资源整合中的预测与决策问题
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 云资源整合 预测模型 决策效用 数据集构建 基准测试 服务可靠性 资源效率
📋 核心要点
- 现有方法在云资源整合中面临预测准确性与决策效用之间的脱节问题，影响实际应用效果。
- 本文提出CloudCons基准，通过高质量数据集评估预测模型在云资源整合中的实际决策能力。
- 实验表明，基础模型在零样本预测上表现优越，但未必提升决策效用，分位数选择对结果影响显著。
📝 摘要（中文）
由于保守的过度配置，云数据中心的资源利用率普遍较低。为此，预测-优化范式应运而生，旨在通过预测未来需求来优化资源整合。然而，现有基准测试仅关注预测误差指标，未能验证先进模型在实际决策中的效用。为填补这一空白，本文提出了CloudCons，一个全面的端到端基准，专门用于评估云资源整合中的预测模型。我们构建了涵盖华为云、微软Azure和Google Borg等多样化工作负载的高质量数据集，捕捉了不同服务特征。实验结果显示，尽管基础模型在零样本预测准确性上表现优越，但这一优势并未直接转化为更好的决策效用。我们系统分析了预测分位数的选择对资源效率与服务可靠性之间的平衡的重要性，并提供了可操作的指导。
🔬 方法详解
问题定义：本文旨在解决云资源整合中预测模型的决策效用不足的问题。现有方法主要关注预测误差，未能验证其在实际应用中的价值。
核心思路：通过构建CloudCons基准，全面评估预测模型在云资源整合中的表现，特别是如何通过预测分位数的选择来优化决策。
技术框架：CloudCons基准包括数据集构建、模型评估和决策分析三个主要模块。数据集涵盖多种云服务工作负载，模型评估则包括统计模型、深度学习模型和基础模型的比较。
关键创新：最重要的创新在于提出了一个全面的评估框架，强调了预测分位数选择对决策效用的影响，这在现有文献中尚未得到充分探讨。
关键设计：在模型评估中，采用了多种损失函数和评估指标，特别关注预测分位数的选择，以平衡资源效率与服务可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，基础模型在零样本预测准确性上优于传统模型，但在决策效用上并未显著提升。通过对比分析，发现预测分位数的选择对资源效率与服务可靠性之间的平衡至关重要，为实际应用提供了重要指导。
🎯 应用场景
该研究的潜在应用领域包括云计算资源管理、数据中心优化和服务质量保障。通过提供有效的预测与决策工具，CloudCons能够帮助云服务提供商提高资源利用率，降低成本，并提升用户体验。未来，该方法可扩展至其他领域，如边缘计算和物联网资源管理。
📄 摘要（原文）
Driven by conservative over-provisioning to guarantee service reliability, resource utilization in cloud data centers remains at low levels. To mitigate this, the forecast-then-optimize paradigm has emerged to optimize consolidation by anticipating future demands. While emerging time series foundation models promise to enhance this paradigm through zero-shot generalization, existing benchmarks focus solely on prediction error metrics. The actual decision utility of these advanced models remains unverified, rendering their practical value for downstream tasks uncertain. To bridge this gap, we propose CloudCons, a comprehensive end-to-end benchmark designed to evaluate forecasting models within the specific context of cloud resource consolidation. We build high-quality datasets that cover diverse workloads from Huawei Cloud, Microsoft Azure, and Google Borg, capturing distinct service characteristics ranging from synchronized diurnal rhythms to stochastic, pulse-like bursts and high-frequency noise. We conduct an extensive evaluation of statistical, deep learning, and foundation models. Our experiments reveal a pivotal finding: while foundation models demonstrate superior zero-shot forecasting accuracy, this advantage does not inherently translate into better decision utility. Of practical significance, we systematically analyze how the selection of predictive quantiles acts as a critical lever. We provide actionable guidelines for calibrating these selections to balance the trade-off between resource efficiency and service reliability, offering vital insights for real-world deployment decisions.