MoRAL: MoE Augmented LoRA for LLMs' Lifelong Learning

📄 arXiv: 2402.11260v1 📥 PDF

作者: Shu Yang, Muhammad Asif Ali, Cheng-Long Wang, Lijie Hu, Di Wang

分类: cs.CL, cs.AI

发布日期: 2024-02-17

💡 一句话要点

提出MoRAL以解决大语言模型的终身学习问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 终身学习 混合专家 低秩适应 知识保留 问答对 模型微调

📋 核心要点

  1. 现有方法在适应新任务时常面临效率低下和知识遗忘的问题，限制了大语言模型的应用。
  2. MoRAL通过结合混合专家和低秩适应的优势，采用问答对作为输入，提升了终身学习的效率和效果。
  3. 实验表明，使用MoRAL的模型在开放书设置下学习速度显著提升，且在知识保留方面表现优异。

📝 摘要（中文）

适应大语言模型（LLMs）到新领域/任务并使其高效地进行终身学习是一个关键挑战。本文提出了MoRAL，即混合专家增强的低秩适应方法，旨在有效实现LLMs的终身学习。MoRAL结合了混合专家（MoE）的多任务能力与低秩适应（LoRA）的微调能力。与传统方法使用事实三元组作为输入不同，MoRAL依赖简单的问答对，这是一种更实用且有效的学习策略。我们还引入了新的评估基准：LLM的终身学习（5L-bench），包括新策划的问答对数据集及一套评估指标，以对MoRAL在开放书和闭合书设置下进行严格评估。实验结果表明，LLMs在开放书设置下学习速度快，Phi-2-2.7B模型的“RA”提升达30.15%；MoRAL在参数较多的模型上表现出更高的性能提升；MoRAL对灾难性遗忘具有更好的鲁棒性，知识保留效果优于基线。

🔬 方法详解

问题定义：本文旨在解决大语言模型在适应新领域和任务时的效率低下及知识遗忘问题。现有方法多依赖复杂的输入格式，导致学习效果不佳。

核心思路：MoRAL结合了混合专家（MoE）的多任务处理能力与低秩适应（LoRA）的高效微调能力，通过简单的问答对作为输入，提升了模型的学习效率和适应性。

技术框架：MoRAL的整体架构包括数据输入模块（问答对）、模型训练模块（结合MoE与LoRA的机制）和评估模块（5L-bench基准），确保模型在不同学习场景下的有效性。

关键创新：MoRAL的核心创新在于将混合专家与低秩适应相结合，利用问答对替代传统的事实三元组输入，从而实现更高效的终身学习。

关键设计：在模型设计中，MoRAL采用了特定的损失函数来平衡知识保留与新知识的学习，同时优化了模型参数设置，以适应不同规模的语言模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用MoRAL的模型在开放书设置下的学习速度提高了30.15%，相较于闭合书设置表现出显著的性能提升。此外，MoRAL在参数较多的模型上表现出更高的性能改进，并且在知识保留方面优于基线方法，展现出良好的鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、个性化推荐、教育技术等。通过提升大语言模型的终身学习能力，MoRAL能够在动态环境中持续学习新知识，具有重要的实际价值和广泛的未来影响。

📄 摘要（原文）

Adapting large language models (LLMs) to new domains/tasks and enabling them to be efficient lifelong learners is a pivotal challenge. In this paper, we propose MoRAL, i.e., Mixture-of-Experts augmented Low-Rank Adaptation for Lifelong Learning. MoRAL combines the multi-tasking abilities of MoE with the fine-tuning abilities of LoRA for effective life-long learning of LLMs. In contrast to the conventional approaches that use factual triplets as inputs MoRAL relies on simple question-answer pairs, which is a more practical and effective strategy for robust and efficient learning. Owing to new data settings, we introduce a new evaluation benchmark namely: Life Long Learning of LLM (5L-bench) encompassing a newly curated dataset of question-answer pairs, and a set of evaluation metrics for rigorous evaluation of MoRAL in open-book and closed-book settings. Experimental evaluation shows (i) LLMs learn fast in open-book settings with up to 30.15% improvement in "RA" for Phi-2-2.7B compared to closed-book (for models fine-tuned with MoRAL); (ii) MoRAL shows higher performance improvement for models with a greater number of parameters; (iii) MoRAL is robust to catastrophic forgetting offering better knowledge retention compared to baselines.