Enabling On-Device Large Language Model Personalization with Self-Supervised Data Selection and Synthesis
作者: Ruiyang Qin, Jun Xia, Zhenge Jia, Meng Jiang, Ahmed Abbasi, Peipei Zhou, Jingtong Hu, Yiyu Shi
分类: cs.CL
发布日期: 2023-11-21 (更新: 2024-04-16)
备注: Accepted by 2024 61th ACM/IEEE Design Automation Conference (DAC)
💡 一句话要点
提出自监督数据选择与合成方法以实现设备端大语言模型个性化
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 个性化 自监督学习 边缘计算 数据选择 微调 用户隐私 智能助手
📋 核心要点
- 现有方法在用户生成数据的隐私保护和存储限制方面存在挑战，难以实现有效的个性化。
- 本文提出了一种自监督的数据选择与合成框架，能够在线选择和存储最具代表性的数据以支持个性化微调。
- 实验结果显示，该框架在用户特定内容生成能力和微调速度上均优于传统方法，具有显著提升。
📝 摘要（中文）
在边缘设备上部署的大语言模型（LLM）希望能够实时学习用户生成的对话数据，以生成用户特定的个性化响应。然而，用户生成的数据通常包含敏感信息，上传至云端进行标注并不理想。本文提出了一种新颖的框架，通过自监督方式在线选择和存储最具代表性的数据，减少内存占用，并允许不频繁请求用户标注以进行进一步微调。实验表明，该框架在用户特定内容生成能力和微调速度上优于传统基线，这是首个设备端LLM个性化框架。
🔬 方法详解
问题定义：本文旨在解决在边缘设备上实现大语言模型个性化的问题，现有方法面临用户数据隐私和存储限制的挑战，难以进行有效的微调。
核心思路：提出了一种自监督的数据选择与合成框架，通过在线选择最具代表性的数据，减少内存占用，并降低对用户标注的依赖。
技术框架：整体架构包括数据选择模块、数据存储模块和微调模块。数据选择模块负责实时选择用户生成的对话数据，存储模块则保存这些数据以供后续微调使用。
关键创新：最重要的创新在于自监督数据选择机制和生成语义相似的问答对，显著提高了个性化响应的质量和微调效率。
关键设计：在数据选择中，采用了小内存占用的策略，并设计了生成语义相似问答对的算法，以增强微调的效果。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的框架在用户特定内容生成能力上达到了最佳准确性，并在微调速度上显著优于传统基线，提升幅度达到XX%（具体数据待补充）。
🎯 应用场景
该研究的潜在应用领域包括智能助手、客户服务和个性化推荐系统等，能够在保护用户隐私的前提下，提升用户体验和交互质量。未来，该框架有望在更多边缘设备上推广应用，推动个性化AI的发展。
📄 摘要（原文）
After a large language model (LLM) is deployed on edge devices, it is desirable for these devices to learn from user-generated conversation data to generate user-specific and personalized responses in real-time. However, user-generated data usually contains sensitive and private information, and uploading such data to the cloud for annotation is not preferred if not prohibited. While it is possible to obtain annotation locally by directly asking users to provide preferred responses, such annotations have to be sparse to not affect user experience. In addition, the storage of edge devices is usually too limited to enable large-scale fine-tuning with full user-generated data. It remains an open question how to enable on-device LLM personalization, considering sparse annotation and limited on-device storage. In this paper, we propose a novel framework to select and store the most representative data online in a self-supervised way. Such data has a small memory footprint and allows infrequent requests of user annotations for further fine-tuning. To enhance fine-tuning quality, multiple semantically similar pairs of question texts and expected responses are generated using the LLM. Our experiments show that the proposed framework achieves the best user-specific content-generating capability (accuracy) and fine-tuning speed (performance) compared with vanilla baselines. To the best of our knowledge, this is the very first on-device LLM personalization framework.