Brick: Spatial Capability Routing for the Mixture-of-Models (MoM) Paradigm
作者: Francesco Massa, Marco Cristofanilli
分类: cs.AI
发布日期: 2026-06-12
💡 一句话要点
提出Brick以解决大规模模型路由中的查询难度评估问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 模型路由 查询难度评估 多模态路由器 成本优化 性能提升
📋 核心要点
- 现有的LLM路由器主要依赖表面特征，未能有效评估查询的实际难度，导致资源浪费。
- Brick通过对模型在六个能力维度的评分，结合查询难度估计，实现了更智能的模型调度。
- 在5504个查询的基准测试中，Brick在最大质量模式下的准确率达到76.98%，显著优于现有最佳模型。
📝 摘要（中文）
定义查询难度是部署工程中最具挑战性的问题之一。现有的大型语言模型（LLM）路由器依赖于表面特征，如领域标签、关键词和令牌计数，忽视了决定模型成功的领域内变异性。前沿模型的成本是本地开放权重模型的十到一百倍，因此在生产规模下，即使是每个请求的小节省也会直接影响云账单。本文提出了Brick，这是一种多模态路由器，它在六个能力维度上对每个模型进行评分，并结合每个查询的难度估计，通过成本惩罚几何规则进行调度。Brick在5504个查询的基准测试中，最大质量模式下达到76.98%的准确率，超越了最佳单一模型（75.02%）和所有测试的路由器。在中性成本-质量配置下，Brick以4.71倍更低的成本实现74.11%的准确率。最小成本模式下，成本降低22.15倍，准确率损失11.85点。中位延迟从51.2秒降至22.8秒。
🔬 方法详解
问题定义：本文旨在解决现有LLM路由器在查询难度评估中的不足，尤其是忽视了领域内的变异性，导致模型选择不当和资源浪费。
核心思路：Brick的核心思想是通过对每个模型在六个能力维度上进行评分，并结合每个查询的难度估计，采用成本惩罚几何规则进行调度，从而实现高效的模型选择。
技术框架：Brick的整体架构包括模型评分模块、查询难度估计模块和调度决策模块。模型评分模块评估各模型的能力，查询难度估计模块提供每个查询的难度评分，调度决策模块根据成本和质量进行模型选择。
关键创新：Brick的主要创新在于引入了多维度的模型能力评分和动态查询难度估计，这与传统依赖表面特征的路由器形成了本质区别。
关键设计：Brick设计了一个连续的偏好调节器，允许操作员在最大质量和最大节省之间进行调整。此外，模型评分和查询难度估计的具体算法和参数设置也是其关键设计之一。
🖼️ 关键图片
📊 实验亮点
Brick在5504个查询的基准测试中，最大质量模式下的准确率达到76.98%，超越了最佳单一模型的75.02%。在中性成本-质量配置下，Brick以4.71倍更低的成本实现74.11%的准确率，而在最小成本模式下，成本降低22.15倍，准确率损失仅为11.85点。中位延迟显著减少，从51.2秒降至22.8秒。
🎯 应用场景
Brick的研究成果在多个领域具有广泛的应用潜力，尤其是在需要高效模型选择的自然语言处理、对话系统和智能客服等场景。通过优化模型调度，Brick能够显著降低云计算成本，提高系统响应速度，提升用户体验。未来，Brick的理念和方法也可能扩展到其他多模态任务和复杂系统中。
📄 摘要（原文）
Defining query difficulty is one of the hardest problems in deployment engineering. Existing LLM routers rely on surface features such as domain labels, keywords, and token count, ignoring the within-domain variance that actually determines model success. Frontier models cost ten to one hundred times more than local open-weight models, so at production scale even small per-request savings become a direct cloud-bill lever. We present Brick, a multimodal router that scores each model on six capability dimensions, combines this with a per-query difficulty estimate, and dispatches via a cost-penalized geometric rule. A continuous preference knob lets operators slide between max-quality and max-saving profiles at deploy time. On a benchmark of 5,504 queries, Brick at max-quality reaches 76.98% accuracy, beating the best single model (75.02%) and all tested routers. At a neutral cost-quality profile, Brick achieves 74.11% accuracy at 4.71x lower cost than always using the strongest model. At min-cost, it cuts cost 22.15x with 11.85 points accuracy loss. Median latency drops from 51.2s to 22.8s.