LoRETTA: Low-Rank Economic Tensor-Train Adaptation for Ultra-Low-Parameter Fine-Tuning of Large Language Models

📄 arXiv: 2402.11417v1 📥 PDF

作者: Yifan Yang, Jiajun Zhou, Ngai Wong, Zheng Zhang

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-02-18

💡 一句话要点

提出LoRETTA以解决大语言模型微调参数过多问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 参数高效微调 大语言模型 张量分解 多任务学习 抗过拟合 模型优化

📋 核心要点

  1. 现有的参数高效微调技术在大语言模型的快速部署中面临可训练参数数量不断增加的挑战。
  2. 本文提出LoRETTA框架，通过张量分解显著减少可训练参数，包含LoRETTA${adp}$和LoRETTA${rep}$两种方法。
  3. 实验证明，LoRETTA在LLaMA-2-7B模型上可减少多达100倍的参数，同时提升训练效率和多任务学习性能。

📝 摘要（中文）

针对现有的参数高效微调技术（PEFT）在大语言模型（LLMs）快速部署中面临的可训练参数数量不断增加的挑战，本文提出了LoRETTA，一个超参数高效的框架，通过张量分解显著减少可训练参数。具体而言，提出了两种方法：LoRETTA${adp}$和LoRETTA${rep}$，前者采用张量化适配器，后者通过一组小的张量因子进行权重参数化。LoRETTA在LLaMA-2-7B模型上实现了与大多数PEFT方法相当或更好的性能，同时可训练参数减少了多达100倍。实验证明，该方法有效提升了训练效率，增强了多任务学习性能，并提高了抗过拟合能力。

🔬 方法详解

问题定义：当前的参数高效微调技术（PEFT）在大语言模型（LLMs）中面临可训练参数数量不断增加的问题，导致微调过程变得低效且资源消耗高。

核心思路：LoRETTA通过张量分解技术，提出了两种方法来减少可训练参数，LoRETTA${adp}$使用张量化适配器，LoRETTA${rep}$则通过小的张量因子进行权重参数化，从而实现高效微调。

技术框架：LoRETTA的整体架构包括两个主要模块：张量化适配器和权重参数化模块。前者用于实现轻量级的微调，后者则通过小规模的张量因子来优化模型权重。

关键创新：LoRETTA的核心创新在于其超参数高效性，能够在保持或提升模型性能的同时，减少多达100倍的可训练参数，这在现有PEFT方法中是前所未有的。

关键设计：在设计中，LoRETTA采用了特定的损失函数和网络结构，以确保在减少参数的同时，仍能有效捕捉模型的特征和能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在LLaMA-2-7B模型上，LoRETTA实现了与大多数现有PEFT方法相当或更好的性能，同时可训练参数减少了多达100倍。实验证明，该方法显著提升了训练效率，并增强了多任务学习性能和抗过拟合能力。

🎯 应用场景

LoRETTA的研究成果具有广泛的应用潜力，特别是在需要高效微调大语言模型的场景中，如自然语言处理、对话系统和多任务学习等领域。其超参数高效的特性使得在资源受限的环境下，仍能实现高性能的模型微调，具有重要的实际价值和未来影响。

📄 摘要（原文）

Various parameter-efficient fine-tuning (PEFT) techniques have been proposed to enable computationally efficient fine-tuning while maintaining model performance. However, existing PEFT methods are still limited by the growing number of trainable parameters with the rapid deployment of Large Language Models (LLMs). To address this challenge, we present LoRETTA, an ultra-parameter-efficient framework that significantly reduces trainable parameters through tensor-train decomposition. Specifically, we propose two methods, named {LoRETTA}${adp}$ and {LoRETTA}${rep}$. The former employs tensorized adapters, offering a high-performance yet lightweight approach for the fine-tuning of LLMs. The latter emphasizes fine-tuning via weight parameterization with a set of small tensor factors. LoRETTA achieves comparable or better performance than most widely used PEFT methods with up to $100\times$ fewer parameters on the LLaMA-2-7B models. Furthermore, empirical results demonstrate that the proposed method effectively improves training efficiency, enjoys better multi-task learning performance, and enhances the anti-overfitting capability. Plug-and-play codes built upon the Huggingface framework and PEFT library will be released.