SCX Router: Streaming Zero-Shot Model Selection with a Decoder-KV Classifier and a Real-World Task Ontology
作者: Ihor Stepanov, Aleksandr Smechov, Mykhailo Shtopko, Dmytro Vodianytskyi, Oleksandr Lukashov
分类: cs.AI, cs.CL
发布日期: 2026-09-02
备注: 20 pages, 10 tables, 6 figures
💡 一句话要点
提出SCX Router以优化大语言模型的任务选择问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 模型选择 推理优化 任务本体 零-shot学习 性能提升 智能系统
📋 核心要点
- 现有方法在选择合适的大语言模型时面临质量、成本和延迟等多方面的挑战，手动启发式方法难以实现理想的平衡。
- 本文提出的SCX Router通过轻量级的GLiClass路由器，在推理时为每个模型标签分配适用性评分，避免了自回归生成的复杂性。
- 在六个LiveBench子集上，SCX Router的表现超越了平均候选模型，在选定的1000任务子集上，取得了0.707的聚合top-1分数，优于最强固定模型的0.696。
📝 摘要（中文）
随着大型语言模型（LLMs）的快速发展及其应用的多样化，选择合适的模型以优化速度、成本和质量成为一项独特的优化机会。现有的推理端点在质量、价格、延迟等方面差异显著，使得手动启发式方法难以维护。本文提出了SCX Router，一个轻量级的GLiClass路由器，能够在推理时为每个模型标签分配适用性评分。该模型结合了Qwen3解码器与浅层双向评分器，支持自定义零-shot标签，并通过构建任务本体生成大量任务进行训练。实验结果表明，SCX Router在多个基准测试中表现优异，显著提升了模型选择的效率和准确性。
🔬 方法详解
问题定义：本文旨在解决在多样化任务中选择合适的大语言模型的问题，现有方法难以在速度、成本和质量之间实现理想的平衡。
核心思路：SCX Router通过轻量级的GLiClass路由器，为每个推理时的模型标签分配适用性评分，避免了复杂的自回归生成过程，从而提高了模型选择的效率。
技术框架：整体架构包括任务本体构建、模型选择评分和推理过程。任务本体包含23个任务家族、115种任务类型和345种可路由子类型，支持生成和评估大量任务。
关键创新：SCX Router的主要创新在于其轻量级设计和无自回归生成的评分机制，显著提高了模型选择的灵活性和准确性。
关键设计：模型结合了Qwen3解码器与浅层双向评分器，采用文本唯一的键值缓存机制，支持新对话轮次的编码和瞬态候选标签的评估，确保了高效的推理过程。
🖼️ 关键图片
📊 实验亮点
在六个LiveBench子集的实验中，SCX Router的表现超越了平均候选模型，选定的1000任务子集上，聚合top-1分数达到0.707，相较于最强固定模型的0.696，展现出显著的性能提升，验证了其有效性。
🎯 应用场景
SCX Router在多种实际应用场景中具有广泛的潜力，尤其是在需要快速响应和高效模型选择的任务中，如智能客服、自动问答系统和个性化推荐等领域。其优化的模型选择能力将提升用户体验并降低计算成本，具有重要的实际价值和未来影响。
📄 摘要（原文）
The rapid proliferation of large language models (LLMs) and the growing diversity of their applications presents a unique optimization opportunity: selecting the right model for the task, while optimizing for speed, cost, and quality at a per-task level. However, inference endpoints can vary widely in quality, price, latency, context support, tool use, domain expertise, and reasoning behavior. This heterogeneity makes manual heuristics difficult to maintain and unlikely to achieve consistently favorable speed--cost--quality trade-offs on their own. We introduce \router{}, a lightweight GLiClass-based router that assigns a suitability score to each inference-time model label without autoregressive generation. The released 0.6B-parameter checkpoint combines a Qwen3 decoder with a shallow bidirectional scorer. Its decoder-KV execution path preserves a text-only key--value cache across a session, encodes only new dialogue turns, and evaluates transient candidate-label tokens without adding them to the persistent cache. The same checkpoint also predicts task type, difficulty, reasoning mode, and expected output length, and supports custom zero-shot labels. For task generation, we construct a task ontology with 23 families, 115 task types, 345 routable subtypes, 1,173 synthetic examples, and an orthogonal axis of 30 domains. Using this structure, we generate 150,000 verifier-scored tasks and 15,000 open-ended tasks. We then train the Qwen3 decoder on these tasks, while explicitly separating learned request prediction from per-task policies for attributes such as eligibility, cost, cache reuse, safety, and sovereignty. Across six LiveBench subsets, the router outperforms the mean candidate; on the selected 1,000-task subset, it achieves an aggregate top-1 score of 0.707 versus 0.696 for the strongest fixed model, with benchmark-dependent gains.