Pack of LLMs: Model Fusion at Test-Time via Perplexity Optimization

📄 arXiv: 2404.11531v1 📥 PDF

作者: Costas Mavromatis, Petros Karypis, George Karypis

分类: cs.CL

发布日期: 2024-04-17

💡 一句话要点

提出PackLLM以解决多模型融合在测试阶段的挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 模型融合 困惑度优化 自然语言处理 测试阶段

📋 核心要点

  1. 现有的LLM融合方法无法有效推广到新模型，且未考虑模型对输入的理解能力。
  2. 提出的PackLLM方法通过优化每个LLM的重要性，基于输入提示最小化困惑度，实现测试阶段的模型融合。
  3. 实验表明，PackLLM在准确性上比基线方法提高了1.89%，并在新LLM的利用上提升了3.92-11.94%。

📝 摘要（中文）

融合多个大型语言模型（LLMs）的知识可以结合它们的多样化优势，从而在特定任务上实现更好的性能。然而，现有的融合方法要么依赖于无法推广到新LLM的学习型融合器，要么未考虑每个LLM对输入的理解程度。本研究探讨了测试阶段的LLM融合，提出了一种有效的方法Pack of LLMs（PackLLM），通过优化每个LLM的重要性来最小化输入提示的困惑度。实验结果表明，PackLLM在准确性上超越了基线方法，并能有效利用新LLM提高性能。

🔬 方法详解

问题定义：本论文旨在解决在测试阶段如何有效融合多个LLM的问题。现有方法往往依赖于学习型融合器，无法适应新模型，且未考虑每个模型对输入的理解能力。

核心思路：论文提出的PackLLM方法通过优化每个LLM的重要性权重，利用困惑度作为衡量标准，从而实现更有效的模型融合。该设计能够在推理过程中灵活利用用户指定的任意LLM。

技术框架：PackLLM包含两个主要变体：PackLLM-sim和PackLLM-opt。前者验证了困惑度作为LLM专业性的有效性，后者通过贪心算法近似解决困惑度最小化问题，最终结合各LLM的输出。

关键创新：PackLLM的创新在于其基于困惑度的优化方法，能够动态评估和融合不同LLM的知识，与传统的学习型融合方法相比，具有更好的适应性和灵活性。

关键设计：在PackLLM-opt中，使用贪心算法来计算每个LLM的重要性权重，结合输入提示的困惑度进行优化，确保融合过程中的有效性和准确性。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，PackLLM在准确性上比基线方法提高了1.89个百分点，并且在利用新LLM方面的性能提升幅度达到3.92-11.94%。这些结果证明了困惑度作为融合指标的可靠性和PackLLM方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和文本生成等。通过有效融合多个LLM的知识，PackLLM能够在多种任务中提升性能，具有广泛的实际价值和未来影响，尤其是在需要快速适应新模型的场景中。

📄 摘要（原文）

Fusing knowledge from multiple Large Language Models (LLMs) can combine their diverse strengths to achieve improved performance on a given task. However, current fusion approaches either rely on learning-based fusers that do not generalize to new LLMs, or do not take into account how well each LLM understands the input. In this work, we study LLM fusion at test-time, which enables leveraging knowledge from arbitrary user-specified LLMs during inference. We introduce Pack of LLMs (PackLLM), an effective method for test-time fusion that leverages each LLM's expertise, given an input prompt. PackLLM performs model fusion by solving an optimization problem for determining each LLM's importance, so that perplexity over the input prompt is minimized. First, our simple PackLLM-sim variant validates that perplexity is a good indicator for measuring each LLM's expertise. Second, our PackLLM-opt variant approximately solves the perplexity minimization problem via a greedy algorithm. The derived importance weights are used to combine the LLMs during inference. We conduct experiments with over 100 total LLMs on a diverse set of tasks. Experimental results show that (i) perplexity is a reliable measure for LLM fusion, (ii) PackLLM outperforms test-time fusion baselines by 1.89% accuracy points, and (iii) PackLLM can leverage new LLMs to improve performance over learning-based fusion approaches by 3.92-11.94% accuracy points.