LLM Augmented LLMs: Expanding Capabilities through Composition

📄 arXiv: 2401.02412v1 📥 PDF

作者: Rachit Bansal, Bidisha Samanta, Siddharth Dalmia, Nitish Gupta, Shikhar Vashishth, Sriram Ganapathy, Abhishek Bapna, Prateek Jain, Partha Talukdar

分类: cs.LG, cs.AI, cs.CL, cs.CV

发布日期: 2024-01-04

备注: 17 pages, 2 figures, 8 tables

💡 一句话要点

提出CALM以高效组合基础模型与特定模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 基础模型 模型组合 交叉注意力 自然语言处理 低资源语言 代码生成 任务适应

📋 核心要点

  1. 现有基础模型由于其单一结构，难以高效地增强或赋予新技能，导致适应新任务的成本高昂。
  2. 本文提出CALM，通过交叉注意力机制组合基础模型与特定模型，从而实现新能力的高效扩展。
  3. 实验结果表明，结合低资源语言模型后，PaLM2-S在翻译和算术推理任务上提升了13%，在代码生成任务上提升了40%。

📝 摘要（中文）

基础模型经过大量数据训练，展现出多领域的非平凡技能。然而，由于其单一结构，增强或赋予新技能的难度和成本较高。本文研究如何高效地组合现有基础模型与更具体的模型，以实现新能力。我们提出CALM（Composition to Augment Language Models），通过模型间的交叉注意力机制组合其表示，进而实现新能力。CALM的显著特点包括：在新任务上通过“重用”现有模型扩展能力，保持现有模型权重不变以保留原有能力，适用于多种领域和设置。我们展示了将PaLM2-S与小型低资源语言模型组合，翻译和算术推理任务的绝对提升可达13%。

🔬 方法详解

问题定义：本文旨在解决基础模型在增强新能力时的高成本和低效率问题。现有方法往往无法灵活适应新任务，导致资源浪费。

核心思路：CALM的核心思路是通过交叉注意力机制，将现有基础模型与特定任务模型进行组合，从而实现能力的扩展，而无需完全重新训练基础模型。

技术框架：CALM的整体架构包括基础模型和特定模型的交互模块，通过交叉注意力机制实现信息的融合，进而生成新的表示。该框架允许在保持原有模型权重的同时，利用少量额外参数和数据进行任务适应。

关键创新：CALM的主要创新在于其交叉注意力机制的引入，使得不同模型之间能够有效地共享信息，显著提高了模型在新任务上的表现。这一设计与传统的单一模型训练方法形成了鲜明对比。

关键设计：在模型设计中，CALM采用了少量额外参数以实现模型组合，损失函数则结合了原有任务的损失和新任务的损失，确保模型在新任务上学习的同时不损失原有能力。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，将PaLM2-S与低资源语言模型组合后，在翻译和算术推理任务上实现了高达13%的绝对提升；同时，在代码生成和解释任务上，相较于基线模型，提升幅度达到40%，与完全微调的模型表现相当。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器翻译、代码生成等。通过高效组合模型，CALM能够在低资源环境中提升模型性能，具有重要的实际价值和广泛的应用前景，尤其是在资源有限的情况下。

📄 摘要（原文）

Foundational models with billions of parameters which have been trained on large corpora of data have demonstrated non-trivial skills in a variety of domains. However, due to their monolithic structure, it is challenging and expensive to augment them or impart new skills. On the other hand, due to their adaptation abilities, several new instances of these models are being trained towards new domains and tasks. In this work, we study the problem of efficient and practical composition of existing foundation models with more specific models to enable newer capabilities. To this end, we propose CALM -- Composition to Augment Language Models -- which introduces cross-attention between models to compose their representations and enable new capabilities. Salient features of CALM are: (i) Scales up LLMs on new tasks by 're-using' existing LLMs along with a few additional parameters and data, (ii) Existing model weights are kept intact, and hence preserves existing capabilities, and (iii) Applies to diverse domains and settings. We illustrate that augmenting PaLM2-S with a smaller model trained on low-resource languages results in an absolute improvement of up to 13\% on tasks like translation into English and arithmetic reasoning for low-resource languages. Similarly, when PaLM2-S is augmented with a code-specific model, we see a relative improvement of 40\% over the base model for code generation and explanation tasks -- on-par with fully fine-tuned counterparts.