Cluster, Route, Escalate: Cascaded Framework for Cost-Aware LLM Serving

📄 arXiv: 2606.27457v1 📥 PDF

作者: Yasmin Moslem, Magdalena Kacmajor, Vasudevan Nedumpozhimana, Ammar Abbas, Solmaz Panahi, David Lynch, Zhuangzhuang Nie, Alexandros Agapitos, Aleksandar Milenovic, Hongmeng Song, Yucheng Shi, Yue Pan, Patricia Buffini, John D. Kelleher

分类: cs.PF, cs.CL

发布日期: 2026-06-25

💡 一句话要点

提出级联框架以降低大语言模型服务成本

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 成本优化 查询聚类 质量评估 级联框架 模型选择 自动化系统

📋 核心要点

  1. 现有方法在处理查询时往往依赖单一模型，导致成本高或准确性不足的问题。
  2. 本文提出的两阶段级联解决方案通过聚类和质量评估来优化模型选择，降低成本。
  3. 实验结果表明，该系统在保持高准确率的同时，显著减少了每个输出标记的处理时间。

📝 摘要（中文）

在生产环境中高效部署大型语言模型（LLMs）面临准确性与成本之间的权衡。现有方法通常依赖单一模型，导致简单查询成本高昂或复杂查询处理不足。为解决这一挑战，本文提出了一种两阶段的级联解决方案。第一阶段对输入查询进行聚类，并将每个聚类分配给最具成本效益的模型。该路由过程的成本预算由可解释的超参数设定，并在离线状态下进行调优。第二阶段增加了质量评估（QE）级联；当第一阶段的输出被判断为低质量时，查询将被提升至更强的模型。这确保只有困难或低置信度的案例才会到达昂贵的模型。在测试数据集上，级联系统保留了97-99%的最强模型准确性，同时减少了每个输出标记的时间（TPOT）。该方法仅需任务正确性标签，并能适应模型池的变化，无需手动重新配置。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在生产环境中部署时的成本与准确性之间的权衡问题。现有方法通常依赖单一模型，导致简单查询成本过高或复杂查询处理不足。

核心思路：论文提出的解决方案通过两阶段级联框架，首先对查询进行聚类并分配给最具成本效益的模型，随后通过质量评估机制提升低质量输出的查询至更强模型，从而优化资源使用。

技术框架：整体架构分为两个主要阶段：第一阶段是查询聚类与模型路由，第二阶段是质量评估级联。第一阶段通过聚类算法将查询分组，并根据成本效益选择模型；第二阶段则对输出质量进行评估，必要时进行模型提升。

关键创新：该研究的主要创新在于引入了可解释的超参数设置和质量评估机制，使得模型选择过程更加灵活且高效，显著降低了高成本模型的调用频率。

关键设计：在设计中，超参数用于设定成本预算，聚类算法用于查询分组，质量评估机制则通过简单的任务正确性标签进行训练，确保系统能够适应模型池的变化。整个框架无需手动重新配置，提升了系统的自动化程度。

📊 实验亮点

实验结果显示，级联系统在测试数据集上能够保留97-99%的最强模型准确性，同时显著降低每个输出标记的处理时间（TPOT），展示了其在成本效益上的显著提升。

🎯 应用场景

该研究的潜在应用领域包括智能客服、在线教育和内容生成等场景，能够有效降低大语言模型的运行成本，同时保持高水平的服务质量。未来，该框架可能推动更多领域的智能化应用，提升用户体验和系统效率。

📄 摘要（原文）

Efficient deployment of large language models (LLMs) in production forces a trade-off between accuracy and cost. Operators often default to a single model that is either expensive for easy queries or insufficient for hard ones. To address this challenge, we propose a two-stage cascaded solution. Stage 1 clusters incoming queries and assigns each cluster to its most cost-effective model. The cost budget for this routing process is set by an interpretable hyperparameter, tuned offline. Stage 2 adds a quality estimation (QE) cascade; when an output from Stage 1 is judged low-quality, the query is escalated to a stronger model. This ensures only hard or low-confidence cases reach the expensive models. On the test datasets, the cascaded system retains 97-99% of the strongest model's accuracy while reducing Time Per Output Token (TPOT). It requires only task-correctness labels and adapts to changes in the model pool without manual reconfiguration.