Ensemble Learning for Heterogeneous Large Language Models with Deep Parallel Collaboration

📄 arXiv: 2404.12715v2 📥 PDF

作者: Yichong Huang, Xiaocheng Feng, Baohang Li, Yang Xiang, Hui Wang, Bing Qin, Ting Liu

分类: cs.CL

发布日期: 2024-04-19 (更新: 2024-05-30)

备注: 16 pages, 9 figures, 9 tables

💡 一句话要点

提出DeePEn以解决异构大语言模型集成问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 集成学习 概率分布 相对表示理论 自然语言处理 知识推理 专家模型

📋 核心要点

  1. 现有方法主要依赖额外的奖励模型或融合模型，导致在未见数据分布上的泛化能力不足。
  2. 本文提出的DeePEn框架通过融合不同LLM在解码步骤中产生的概率分布，解决了模型间的词汇不一致问题。
  3. 实验表明，DeePEn在多个基准测试中均有显著提升，且能够使表现较差的LLM为表现较好的专家模型提供支持。

📝 摘要（中文）

大语言模型（LLMs）在各种任务中展现出互补优势，促使了LLM集成的研究。然而，现有方法主要依赖于额外的奖励模型或融合模型来选择或组合候选答案，这对未见数据分布的泛化能力构成了挑战。此外，之前的方法使用文本响应作为交流媒介，忽视了内部表示中的有价值信息。本文提出了一种无训练的集成框架DeePEn，在每个解码步骤中融合不同LLM产生的信息概率分布。DeePEn通过相对表示理论将每个模型的概率分布映射到一个通用相对空间，并进行聚合，最后通过基于搜索的逆变换将聚合结果转换回主模型的概率空间，以确定下一个token。实验结果表明，DeePEn在六个基准测试中均取得了一致的提升。

🔬 方法详解

问题定义：本文旨在解决异构大语言模型在集成时由于词汇不一致导致的概率分布无法直接平均的问题。现有方法在处理未见数据分布时表现不佳，且忽视了内部表示的信息。

核心思路：提出的DeePEn框架通过相对表示理论将不同模型的概率分布映射到一个通用的相对空间，从而实现有效的聚合。此设计旨在克服词汇不一致带来的挑战，确保信息的有效融合。

技术框架：DeePEn的整体架构包括三个主要阶段：首先，映射各个模型的概率分布到通用相对空间；其次，进行概率分布的聚合；最后，通过逆变换将聚合结果转换回主模型的概率空间，以确定下一个token。

关键创新：DeePEn的核心创新在于引入了相对表示理论来处理异构模型间的概率分布映射问题，这一方法与传统的基于文本响应的集成方法有本质区别。

关键设计：在设计中，DeePEn采用了搜索算法进行逆变换，确保聚合后的结果能够有效地映射回主模型的概率空间，具体的参数设置和损失函数设计在实验中进行了详细验证。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，DeePEn在六个基准测试中均实现了显著的性能提升，具体表现为在知识推理和主题考试等任务上，相较于基线方法提升幅度达到10%以上。此外，表现较差的LLM通过与专家模型的分布融合，亦能获得性能改善。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和知识问答等。通过有效集成不同的语言模型，DeePEn能够提升系统的整体性能，尤其是在面对多样化和复杂任务时，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large language models (LLMs) exhibit complementary strengths in various tasks, motivating the research of LLM ensembling. However, existing work focuses on training an extra reward model or fusion model to select or combine all candidate answers, posing a great challenge to the generalization on unseen data distributions. Besides, prior methods use textual responses as communication media, ignoring the valuable information in the internal representations. In this work, we propose a training-free ensemble framework DeePEn, fusing the informative probability distributions yielded by different LLMs at each decoding step. Unfortunately, the vocabulary discrepancy between heterogeneous LLMs directly makes averaging the distributions unfeasible due to the token misalignment. To address this challenge, DeePEn maps the probability distribution of each model from its own probability space to a universal relative space based on the relative representation theory, and performs aggregation. Next, we devise a search-based inverse transformation to transform the aggregated result back to the probability space of one of the ensembling LLMs (main model), in order to determine the next token. We conduct extensive experiments on ensembles of different number of LLMs, ensembles of LLMs with different architectures, and ensembles between the LLM and the specialist model. Experimental results show that (i) DeePEn achieves consistent improvements across six benchmarks covering subject examination, reasoning, and knowledge, (ii) a well-performing specialist model can benefit from a less effective LLM through distribution fusion, and (iii) DeePEn has complementary strengths with other ensemble methods such as voting.