LongQLoRA: Efficient and Effective Method to Extend Context Length of Large Language Models

📄 arXiv: 2311.04879v2 📥 PDF

作者: Jianxin Yang

分类: cs.CL, cs.AI

发布日期: 2023-11-08 (更新: 2023-11-09)

🔗 代码/项目: GITHUB

💡 一句话要点

提出LongQLoRA以高效扩展大语言模型的上下文长度

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长上下文处理 大语言模型 微调技术 自然语言处理 模型优化

📋 核心要点

  1. 现有方法在扩展大语言模型的上下文长度时，通常需要大量的计算资源，限制了其应用。
  2. LongQLoRA通过结合位置插值、QLoRA和短注意力机制，提出了一种高效的上下文扩展方法。
  3. 实验结果表明，LongQLoRA在多个数据集上表现优异，显著提升了模型的上下文处理能力。

📝 摘要（中文）

我们提出了LongQLoRA，这是一种高效且有效的方法，旨在以较少的训练资源扩展大语言模型的上下文长度。LongQLoRA结合了位置插值、QLoRA和LongLoRA的短注意力机制的优势。使用单个32GB V100 GPU，LongQLoRA能够在1000个微调步骤内将LLaMA2 7B和13B的上下文长度从4096扩展到8192，甚至达到12000。LongQLoRA在PG19和Proof-pile数据集上表现出竞争力的困惑度，超越了LongLoRA，并在8192的评估上下文长度上接近MPT-7B-8K。我们收集并构建了39k条长指令数据，将Vicuna-13B的上下文长度从4096扩展到8192，并在长短上下文生成任务中取得良好表现。我们还进行了消融实验，以研究LoRA秩、微调步骤和推理中的注意力模式的影响。

🔬 方法详解

问题定义：现有的大语言模型在处理长上下文时面临计算资源不足的问题，导致上下文长度的扩展受到限制。

核心思路：LongQLoRA通过结合位置插值、QLoRA和短注意力机制，旨在以较少的资源实现上下文长度的有效扩展。这样的设计使得模型能够在有限的训练步骤内快速适应更长的上下文。

技术框架：LongQLoRA的整体架构包括三个主要模块：位置插值模块用于调整输入位置，QLoRA模块用于高效的参数调整，短注意力机制用于优化长上下文的处理。

关键创新：LongQLoRA的创新在于其独特的组合策略，使得模型在扩展上下文长度时，能够在资源消耗上实现显著降低，同时保持性能的提升。与现有方法相比，LongQLoRA在训练效率和效果上都有明显优势。

关键设计：在参数设置上，LongQLoRA采用了优化的LoRA秩和微调步骤，确保在有限的训练时间内达到最佳性能。此外，注意力模式的设计也经过精心调整，以适应长上下文的需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LongQLoRA在PG19和Proof-pile数据集上表现出色，困惑度性能优于LongLoRA，并在8192的上下文长度评估中接近MPT-7B-8K。使用单个32GB V100 GPU，模型在1000个微调步骤内成功将上下文长度从4096扩展到8192，展示了其高效性和有效性。

🎯 应用场景

LongQLoRA的研究成果在多个领域具有广泛的应用潜力，特别是在需要处理长文本的自然语言处理任务中，如文本生成、对话系统和信息检索等。通过提高模型的上下文处理能力，LongQLoRA能够显著提升这些应用的效果和用户体验，未来可能推动更复杂的语言理解和生成任务的发展。

📄 摘要（原文）

We present LongQLoRA, an efficient and effective method to extend context length of large language models with less training resources. LongQLoRA combines the advantages of Position Interpolation, QLoRA and Shift Short Attention of LongLoRA. With a single 32GB V100 GPU, LongQLoRA can extend the context length of LLaMA2 7B and 13B from 4096 to 8192 and even to 12k within 1000 finetuning steps. LongQLoRA achieves competitive perplexity performance on PG19 and Proof-pile datasets, our model outperforms LongLoRA and is very close to MPT-7B-8K within the evaluation context length of 8192. We collect and build 39k long instruction data to extend context length of Vicuna-13B from 4096 to 8192 and achieve good performance both in long and short context generation task. We also do some ablation experiments to study the effect of LoRA rank, finetuning steps and attention patterns in inference.The model weights, training data and code are avaliable at https://github.com/yangjianxin1/LongQLoRA.