T-REX: Mixture-of-Rank-One-Experts with Semantic-aware Intuition for Multi-task Large Language Model Finetuning

📄 arXiv: 2404.08985v2 📥 PDF

作者: Rongyu Zhang, Yijiang Liu, Huanrui Yang, Shenli Zheng, Dan Wang, Yuan Du, Li Du, Shanghang Zhang

分类: cs.LG, cs.AI

发布日期: 2024-04-13 (更新: 2025-05-27)

备注: 18 pages, 4 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出T-REX以解决多任务大语言模型微调的适应性挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多任务学习 大语言模型 混合专家 低秩专家 语义聚类 模型微调 效率提升

📋 核心要点

  1. 现有的多任务微调方法在适应性上存在显著挑战，尤其是在参数和计算开销方面。
  2. T-REX通过结合超低秩专家构建LoRA权重，采用混合机制以线性开销扩展专家向量子空间。
  3. 实验结果显示，T-REX在14个公共数据集上实现了最高1.78%的准确率提升，同时减少了30%-40%的可训练参数。

📝 摘要（中文）

大语言模型在多任务微调中面临显著的适应性挑战。混合专家（MoE）提供了一种动态架构的解决方案，但增加MoE专家数量会导致参数和计算开销显著增加，并且由于简单的路由机制，性能提升有限。本文设计了一种新框架T-REX，利用超低秩专家组合在预训练的大语言模型上构建LoRA权重。秩-1专家使得混合机制能够以线性参数开销二次扩展专家的向量子空间，实现近似误差减少和最佳效率。此外，T-REX通过利用训练嵌入的固有语义聚类作为先验知识，为路由器提供隐式指导，优化专家间的特征分配，促进更平滑的收敛。理论和实证结果表明，T-REX在多样化任务中实现了卓越的效率和泛化能力。与其他基于LoRA的方法相比，T-REX在14个公共数据集上实现了最高1.78%的平均准确率提升，同时可训练参数减少约30%-40%。

🔬 方法详解

问题定义：本文旨在解决大语言模型在多任务微调中的适应性挑战，现有的混合专家方法在扩展专家数量时面临参数和计算开销的显著增加，以及由于简单路由机制导致的性能提升有限的问题。

核心思路：T-REX的核心思路是利用超低秩专家的组合来构建LoRA权重，通过混合机制以线性参数开销二次扩展专家的向量子空间，从而实现高效的任务解耦和近似误差减少。

技术框架：T-REX框架包括几个主要模块：首先是超低秩专家的构建，其次是基于语义聚类的路由优化，最后是特征分配的优化过程。这些模块共同作用，以提高模型的收敛速度和泛化能力。

关键创新：T-REX的最大创新在于其利用超低秩专家的组合来实现高效的参数利用和任务适应性，同时通过语义聚类优化路由过程，显著提升了模型的性能与效率。与现有方法相比，T-REX在参数开销和性能提升上具有本质区别。

关键设计：在设计上，T-REX采用了秩-1专家的组合，设置了优化的损失函数，并在网络结构中引入了基于语义的路由机制，以实现更优的特征分配和模型收敛。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

T-REX在14个公共数据集上实现了最高1.78%的平均准确率提升，同时可训练参数减少约30%-40%。这一结果表明，T-REX在效率和泛化能力方面优于其他基于LoRA的方法，具有显著的实验优势。

🎯 应用场景

T-REX的研究成果在多任务学习、自然语言处理和智能对话系统等领域具有广泛的应用潜力。通过提高大语言模型的适应性和效率，T-REX能够为实际应用提供更强的支持，推动智能系统的进一步发展与优化。

📄 摘要（原文）

Large language models (LLMs) encounter significant adaptation challenges in diverse multitask finetuning. Mixture-of-experts (MoE) provides a promising solution with a dynamic architecture, enabling effective task decoupling. However, scaling up the number of MoE experts incurs substantial parameter and computational overheads and suffers from limited performance gain due to naive routing mechanisms. In this paper, we design a novel framework, mix\underline{\textbf{T}}ure\underline{\textbf{-}}of-\underline{\textbf{R}}ank-on\underline{\textbf{E}}-e\underline{\textbf{X}}perts (\texttt{T-REX}), which leverages the combination of ultra-low rank experts to construct LoRA weights on pretrained LLMs. The rank-1 experts enable a mix-and-match mechanism to quadratically expand the vector subspace of experts with linear parameter overheads, achieving approximate error reduction with optimal efficiency. In addition, T-REX offers implicit guidance to the router, leveraging the inherent semantic clustering of training embeddings as prior knowledge, enabling optimized feature allocation across experts for a smoother convergence. Extensive theoretical and empirical results demonstrate that T-REX achieves superior efficiency and generalizability across diverse tasks. Compared with other LoRA-based methods, T-REX achieves up to 1.78\% mean accuracy improvement with around 30\%-40\% less trainable parameters across 14 public datasets. \href{https://github.com/RoyZry98/T-REX-Pytorch}{Code} is available.