Brick: Spatial Capability Routing for the Mixture-of-Models (MoM) Paradigm
作者: Francesco Massa, Marco Cristofanilli
分类: cs.AI
发布日期: 2026-06-11
备注: 17 pages, 5 figures. Technical report
💡 一句话要点
提出Brick以解决大规模LLM路由中的查询难度问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 查询难度评估 多模态路由 模型评分 成本优化 大规模LLM
📋 核心要点
- 现有LLM路由器主要依赖表面特征，忽视了领域内的变异性，导致查询难度评估不准确。
- Brick通过六个能力维度对模型评分，并结合查询难度估计，采用成本惩罚几何规则进行调度，优化了路由决策。
- 在5504个查询的基准测试中，Brick在最大质量模式下准确率达到76.98%，显著优于现有最佳模型和路由器。
📝 摘要（中文）
定义查询难度是部署工程中最具挑战性的任务之一。现有的LLM路由器依赖于表面特征，如领域标签、关键词和令牌计数，忽视了决定模型成功的领域内变异性。Brick是一种多模态路由器，通过六个能力维度对每个模型进行评分，并结合每个查询的难度估计，采用成本惩罚几何规则进行调度。在5504个查询的基准测试中，Brick在最大质量模式下达到76.98%的准确率，超越了最佳单一模型（75.02%）及所有测试的路由器。在中性成本-质量配置下，Brick以4.71倍的低成本实现74.11%的准确率。最小成本模式下，成本降低22.15倍，准确率损失为11.85个百分点。中位延迟从51.2秒降至22.8秒。
🔬 方法详解
问题定义：论文旨在解决大规模LLM路由中的查询难度评估问题。现有方法依赖于表面特征，未能有效捕捉模型在不同领域内的表现差异，导致资源浪费和性能下降。
核心思路：Brick的核心思路是通过六个能力维度对每个模型进行评分，并结合每个查询的难度估计，采用成本惩罚几何规则进行调度，从而在保证质量的同时降低成本。
技术框架：Brick的整体架构包括模型评分模块、查询难度估计模块和路由决策模块。模型评分模块评估每个模型在六个维度的能力，查询难度估计模块计算每个查询的复杂性，路由决策模块根据成本惩罚规则选择最佳模型。
关键创新：Brick的主要创新在于引入了多维度模型评分和动态查询难度估计的结合，显著提高了路由决策的准确性和效率，与传统方法相比，能够更好地适应不同查询的需求。
关键设计：Brick设计了一个连续的偏好调节器，允许操作员在最大质量和最大节省之间进行调整。此外，模型评分和查询难度估计的算法细节经过精心设计，以确保在不同场景下的鲁棒性和准确性。
🖼️ 关键图片
📊 实验亮点
在5504个查询的基准测试中，Brick在最大质量模式下达到76.98%的准确率，超越了最佳单一模型（75.02%）和所有测试的路由器。在中性成本-质量配置下，Brick以4.71倍的低成本实现74.11%的准确率，最小成本模式下，成本降低22.15倍，准确率损失为11.85个百分点，显著提升了效率。
🎯 应用场景
Brick的研究成果在多个领域具有潜在应用价值，尤其是在需要高效处理大量查询的场景，如在线客服、智能问答系统和大规模信息检索等。通过优化模型选择和资源使用，Brick能够显著降低运营成本，提高用户体验，未来可能推动更多智能系统的普及与应用。
📄 摘要（原文）
Defining query difficulty is one of the hardest problems in deployment engineering. Existing LLM routers rely on surface features such as domain labels, keywords, and token count, ignoring the within-domain variance that actually determines model success. Frontier models cost ten to one hundred times more than local open-weight models, so at production scale even small per-request savings become a direct cloud-bill lever. We present Brick, a multimodal router that scores each model on six capability dimensions, combines this with a per-query difficulty estimate, and dispatches via a cost-penalized geometric rule. A continuous preference knob lets operators slide between max-quality and max-saving profiles at deploy time. On a benchmark of 5,504 queries, Brick at max-quality reaches 76.98% accuracy, beating the best single model (75.02%) and all tested routers. At a neutral cost-quality profile, Brick achieves 74.11% accuracy at 4.71x lower cost than always using the strongest model. At min-cost, it cuts cost 22.15x with 11.85 points accuracy loss. Median latency drops from 51.2s to 22.8s.