Parameter Efficient Tuning Allows Scalable Personalization of LLMs for Text Entry: A Case Study on Abbreviation Expansion

📄 arXiv: 2312.14327v1 📥 PDF

作者: Katrin Tomanek, Shanqing Cai, Subhashini Venugopalan

分类: cs.CL

发布日期: 2023-12-21

💡 一句话要点

参数高效微调实现LLM在文本输入中的可扩展个性化：以缩写扩展为例

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 参数高效微调 个性化 缩写扩展 提示调优 检索增强生成 小样本学习

📋 核心要点

  1. 现有LLM在缩写扩展等文本输入任务中，难以根据用户历史对话进行个性化定制，导致推荐相关性不足。
  2. 提出利用参数高效微调方法，包括微调、提示调优和检索增强生成，来实现LLM的个性化缩写扩展。
  3. 实验表明，提示调优泛化性好，少量领域内数据微调仍有增益，检索增强少样本选择优于微调，参数高效微调可扩展性强。

📝 摘要（中文）

本文研究了如何个性化大型语言模型（LLM）的建议，使其基于先前的对话来增强预测的相关性，特别是在用户数据量较小（约1000个样本）的情况下。以缩写扩展为例，比较了微调、提示调优和检索增强生成等方法，用于为缩写输入提供扩展文本建议。在一个部署的80亿参数LLM上，针对一位患有ALS的真实用户进行了案例研究，以及在电影角色个性化上的实验表明：（1）在某些情况下，定制可能是必要的，提示调优能够很好地泛化到这些情况；（2）在领域内数据上进行微调（仅需600个样本）仍然显示出一些增益；然而，（3）检索增强的少样本选择也优于微调。（4）参数高效的微调实现了高效且可扩展的个性化。对于提示调优，我们还发现，将学习到的“软提示”初始化为用户相关的概念token比随机初始化能获得更高的准确性。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在文本输入场景下，特别是缩写扩展任务中，如何进行高效且可扩展的个性化定制问题。现有方法，如完全微调，参数量大，计算成本高，难以适应用户数据量小且需要快速部署的场景。此外，通用LLM难以捕捉特定用户的语言习惯和偏好，导致推荐的扩展词不准确或不相关。

核心思路：论文的核心思路是利用参数高效微调（Parameter-Efficient Tuning）技术，在预训练LLM的基础上，仅调整少量参数，即可实现针对特定用户的个性化定制。通过比较微调、提示调优和检索增强生成等方法，探索最适合小样本个性化场景的方案。这样既能保留LLM的通用知识，又能快速适应特定用户的需求。

技术框架：整体框架包括三个主要分支：1) 微调（Fine-tuning）：使用用户数据对LLM进行整体或部分参数的微调。2) 提示调优（Prompt-tuning）：固定LLM的参数，仅学习一组可训练的“软提示”（soft prompts），将其添加到输入文本中，引导LLM生成期望的输出。3) 检索增强生成（Retrieval Augmented Generation）：从用户历史数据中检索相关的样本，作为上下文信息添加到输入中，辅助LLM生成更准确的扩展词。

关键创新：论文的关键创新在于将参数高效微调技术应用于LLM的个性化缩写扩展任务，并比较了不同微调策略的性能。特别地，论文发现提示调优在小样本场景下具有良好的泛化能力，且将软提示初始化为用户相关的概念token可以进一步提高准确性。此外，检索增强生成也表现出优于微调的性能，表明利用用户历史数据的重要性。

关键设计：在提示调优中，论文探索了不同的软提示初始化方法，包括随机初始化和基于用户相关概念token的初始化。在检索增强生成中，论文采用了少样本选择策略，从用户历史数据中检索与当前输入最相关的样本。对于损失函数，论文采用了标准的交叉熵损失函数，用于优化LLM的生成概率。

📊 实验亮点

实验结果表明，在小样本个性化场景下，提示调优和检索增强生成优于传统的微调方法。提示调优通过将软提示初始化为用户相关的概念token，可以进一步提高准确性。检索增强生成也表现出优于微调的性能，表明利用用户历史数据的重要性。在真实用户案例研究中，验证了该方法在实际应用中的有效性。

🎯 应用场景

该研究成果可应用于各种文本输入场景，例如移动设备上的输入法、辅助沟通设备（AAC）等。通过个性化定制LLM，可以显著提高文本输入的效率和准确性，特别是在用户数据量有限的情况下。该技术对于患有运动障碍或语言障碍的人群具有重要意义，可以帮助他们更轻松地进行沟通。

📄 摘要（原文）

Abbreviation expansion is a strategy used to speed up communication by limiting the amount of typing and using a language model to suggest expansions. Here we look at personalizing a Large Language Model's (LLM) suggestions based on prior conversations to enhance the relevance of predictions, particularly when the user data is small (~1000 samples). Specifically, we compare fine-tuning, prompt-tuning, and retrieval augmented generation of expanded text suggestions for abbreviated inputs. Our case study with a deployed 8B parameter LLM on a real user living with ALS, and experiments on movie character personalization indicates that (1) customization may be necessary in some scenarios and prompt-tuning generalizes well to those, (2) fine-tuning on in-domain data (with as few as 600 samples) still shows some gains, however (3) retrieval augmented few-shot selection also outperforms fine-tuning. (4) Parameter efficient tuning allows for efficient and scalable personalization. For prompt-tuning, we also find that initializing the learned "soft-prompts" to user relevant concept tokens leads to higher accuracy than random initialization.