Routing to the Expert: Efficient Reward-guided Ensemble of Large Language Models

📄 arXiv: 2311.08692v1 📥 PDF

作者: Keming Lu, Hongyi Yuan, Runji Lin, Junyang Lin, Zheng Yuan, Chang Zhou, Jingren Zhou

分类: cs.CL, cs.LG

发布日期: 2023-11-15

💡 一句话要点

提出Zooter以解决大语言模型的高计算开销问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 奖励引导 路由方法 计算效率 多任务学习 标签增强 模型集成

📋 核心要点

  1. 现有的大语言模型集成方法主要依赖于奖励模型的输出排名，导致计算开销较大，效率低下。
  2. 本文提出Zooter，通过训练查询的奖励来构建路由函数，能够精准地将查询分配给具有相关专业知识的LLM。
  3. Zooter在26个不同领域和任务的基准测试中表现优异，平均超越最佳单一模型，并在44%的任务中取得第一名。

📝 摘要（中文）

大语言模型（LLM）在多个领域和任务中展现出异质性专业知识，现有的集成方法主要集中在输出的奖励模型排名上，导致计算开销显著。为了解决这一问题，本文提出了Zooter，一种基于奖励引导的路由方法，通过训练查询的奖励来训练路由函数，精确分配每个查询给具有相关专业知识的LLM。此外，集成标签增强技术以减少使用奖励作为银监督时的不确定性噪声。Zooter在推理中显示出计算效率，相较于奖励模型排名方法仅引入了少量的计算开销。实验结果表明，Zooter在26个子集的综合基准测试中表现优异，平均超越最佳单一模型，并在44%的任务中排名第一，甚至超过了多种奖励模型排名方法。

🔬 方法详解

问题定义：本文旨在解决现有大语言模型集成方法在计算开销上的不足，尤其是依赖奖励模型排名导致的效率低下问题。

核心思路：Zooter的核心思路是通过奖励引导的路由方法，利用训练查询的奖励信息来训练路由函数，从而将每个查询分配给最合适的LLM，提升整体效率。

技术框架：Zooter的整体架构包括两个主要模块：首先是奖励模型的训练，用于挖掘LLM的潜在专业知识；其次是路由函数的训练，通过对训练查询的奖励进行分析，优化查询的分配。

关键创新：Zooter的主要创新在于引入了基于奖励的路由机制，显著减少了计算开销，相较于传统的奖励模型排名方法，Zooter的路由函数仅引入了少量的额外计算。

关键设计：在设计上，Zooter采用了标签增强技术，以减少使用奖励作为银监督时的不确定性噪声，同时在路由函数的训练中，优化了损失函数和网络结构，以确保模型的高效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，Zooter在26个子集的基准测试中表现优异，平均超越最佳单一模型，并在44%的任务中排名第一，相比于多种奖励模型排名方法，展现出显著的性能提升，证明了其在计算效率和任务适应性上的优势。

🎯 应用场景

Zooter的研究成果具有广泛的应用潜力，尤其在需要高效处理多任务和多领域的自然语言处理场景中，如智能客服、内容生成和信息检索等。通过提升大语言模型的计算效率，Zooter能够为实际应用提供更快速和准确的响应，推动相关技术的发展。

📄 摘要（原文）

The complementary potential of Large Language Models (LLM) assumes off-the-shelf LLMs have heterogeneous expertise in a wide range of domains and tasks so that an ensemble of LLMs can achieve consistently better performance. Existing ensemble methods for LLMs mainly focus on reward model ranking of outputs, leading to significant computation overhead. To combat this issue, we revisit the complementary potential of LLMs and further elaborate it by mining latent expertise with off-the-shelf reward models. We propose Zooter, a reward-guided routing method distilling rewards on training queries to train a routing function, which can precisely distribute each query to the LLM with expertise about it. We also integrate a tag-based label enhancement to mitigate noise from uncertainty when using rewards as silver supervision. Zooter shows computation efficiency in inference as it introduces only a minor computation overhead of a routing function compared with reward model ranking methods. We evaluate Zooter on a comprehensive benchmark collection with 26 subsets on different domains and tasks. Zooter outperforms the best single model on average and ranks first on 44% of tasks, even surpassing multiple reward model ranking methods.