Inducing Generalization across Languages and Tasks using Featurized Low-Rank Mixtures

📄 arXiv: 2402.17934v2 📥 PDF

作者: Chu-Cheng Lin, Xinyi Wang, Jonathan H. Clark, Han Lu, Yun Zhu, Chenxi Whitehouse, Hongkun Yu

分类: cs.CL, cs.AI

发布日期: 2024-02-27 (更新: 2024-08-01)

备注: Revised version

💡 一句话要点

提出Featurized Low-rank Mixtures以解决多语言多任务适应问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 参数高效微调 多语言适应 低秩混合 多任务学习 语义解析

📋 核心要点

  1. 现有的参数高效微调方法在多样数据集混合上表现不佳，导致适应性能受限。
  2. 本文提出FLix方法，通过为每个数据集特征分配独立的低秩权重更新参数，提升多任务适应能力。
  3. 实验结果表明，FLix在监督学习和零-shot设置下均显著提升了任务性能，尤其在零-shot语义解析中表现突出。

📝 摘要（中文）

在将预训练的大型语言模型（LLMs）适应于多种下游任务时，计算成本高昂。参数高效微调（PEFT）方法显著降低了适应成本，但现有的LoRA方法在多样数据集混合上表现不佳，主要由于参数绑定过于激进和不同数据集间的负干扰。本文提出了Featurized Low-rank Mixtures（FLix），一种新颖的PEFT方法，旨在有效进行多任务多语言适应。FLix为每个独特的数据集特征（如语言或任务）关联独立的低秩权重更新参数，从而能够更好地适应多样的数据集混合并在未见数据集上实现更好的泛化。实验结果显示，FLix在多种任务上显著提升了性能，尤其在零-shot语义解析中提升了高达14.2的匹配点。

🔬 方法详解

问题定义：本文旨在解决在多语言和多任务环境中，现有参数高效微调（PEFT）方法在适应性能上的不足，尤其是LoRA方法在多样数据集混合时的表现不佳，主要由于参数绑定和负干扰问题。

核心思路：FLix的核心思路是为每个独特的数据集特征（如语言或任务）分配独立的低秩权重更新参数，这样可以避免不同数据集间的负干扰，从而提升模型在多样数据集上的泛化能力。

技术框架：FLix的整体架构包括特征提取模块、低秩权重更新模块和适应性训练模块。特征提取模块负责识别数据集的特征，低秩权重更新模块则为每个特征生成独立的参数，适应性训练模块则整合这些参数进行训练。

关键创新：FLix的主要创新在于其特征特定的低秩权重更新机制，这与传统的参数绑定方法形成鲜明对比，使得模型能够更灵活地适应不同的数据集。

关键设计：FLix在参数设置上采用了低秩矩阵分解技术，损失函数设计上考虑了多任务学习的特点，网络结构上则通过模块化设计实现了特征的独立处理。具体的参数设置和超参数调优策略在实验中进行了详细探讨。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，FLix在多种任务上均实现了显著的性能提升，尤其是在零-shot语义解析任务中，较基线方法提升了高达14.2的匹配点，证明了其在多语言多任务适应中的有效性。

🎯 应用场景

该研究的潜在应用领域包括多语言翻译、跨语言信息检索和多任务学习等。通过提升模型在多样数据集上的适应能力，FLix能够为实际应用提供更高效的解决方案，尤其是在资源有限的情况下，具有重要的实际价值和未来影响。

📄 摘要（原文）

Adapting pretrained large language models (LLMs) to various downstream tasks in tens or hundreds of human languages is computationally expensive. Parameter-efficient fine-tuning (PEFT) significantly reduces the adaptation cost, by tuning only a small amount of parameters. However, common PEFT methods LoRA (Hu et al., 2022) suffer from suboptimal performance on diverse dataset mixtures, due to aggressive parameter tying and negative interference among different datasets. In this work, we propose Featurized Low-rank Mixtures (FLix), a novel PEFT method designed for effective multitask multilingual adaptation. FLix associates each unique dataset feature, such as the dataset's language or task, with its own low-rank weight update parameters. By composing feature-specific parameters for each dataset, FLix can accommodate diverse dataset mixtures and generalize better to unseen datasets. Our experiments show that FLix leads to significant improvements over a variety of tasks for both supervised learning and zero-shot settings with gains of up to $14.2$ inexact match points in zero-shot semantic parsing.