Towards Efficient and Effective Unlearning of Large Language Models for Recommendation

📄 arXiv: 2403.03536v2 📥 PDF

作者: Hangyu Wang, Jianghao Lin, Bo Chen, Yang Yang, Ruiming Tang, Weinan Zhang, Yong Yu

分类: cs.IR, cs.AI

发布日期: 2024-03-06 (更新: 2024-06-30)

备注: Accepted by Frontier of Computer Science

🔗 代码/项目: GITHUB

💡 一句话要点

提出E2URec以解决大语言模型推荐中的数据遗忘问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 推荐系统 数据遗忘 隐私保护 教师-学生框架 LoRA参数 个性化推荐

📋 核心要点

  1. 现有的推荐遗忘方法效率低下，更新数十亿个参数既耗时又昂贵，同时影响模型的推荐性能。
  2. E2URec通过更新少量LoRA参数来提高遗忘效率，并采用教师-学生框架来增强遗忘效果。
  3. 实验结果显示，E2URec在两个真实数据集上表现优异，能够在不影响推荐性能的情况下高效遗忘特定数据。

📝 摘要（中文）

随着大语言模型（LLMs）的显著进展，利用LLMs作为推荐系统（LLMRec）成为一个有前景的研究方向。LLMRec通过基于用户交互数据的指令调优获得推荐能力。然而，为了保护用户隐私并优化效用，LLMRec需要有意忘记特定用户数据，这被称为推荐遗忘。在LLMs时代，推荐遗忘在效率和有效性方面给LLMRec带来了新挑战。现有的遗忘方法需要更新数十亿个参数，成本高且耗时，并且在遗忘过程中通常会影响模型效用。为此，本文提出了E2URec，这是第一个高效且有效的LLMRec遗忘方法。E2URec通过仅更新少量额外的LoRA参数来提高遗忘效率，并通过教师-学生框架来改善遗忘效果，维护多个教师网络以指导遗忘过程。大量实验表明，E2URec在两个真实世界数据集上超越了最先进的基线，能够高效地忘记特定数据而不影响推荐性能。

🔬 方法详解

问题定义：本文旨在解决大语言模型推荐系统中的数据遗忘问题。现有方法在遗忘特定用户数据时效率低下，需更新大量参数，导致高成本和时间消耗，同时影响模型的推荐效果。

核心思路：E2URec的核心思路是通过更新少量的LoRA参数来提高遗忘效率，并利用教师-学生框架来提升遗忘的有效性。这样的设计使得模型在遗忘过程中能够保持较高的推荐性能。

技术框架：E2URec的整体架构包括多个教师网络和一个学生网络。教师网络负责指导学生网络的学习过程，确保在遗忘特定数据时，模型能够有效地调整其参数。

关键创新：E2URec的主要创新在于引入了教师-学生框架，并通过LoRA参数的更新来实现高效的推荐遗忘。这与现有方法的本质区别在于，后者通常需要全面更新模型参数，导致效率低下。

关键设计：在E2URec中，LoRA参数的设置至关重要，设计了特定的损失函数以平衡遗忘效果与推荐性能。此外，教师网络的数量和结构也经过精心设计，以确保其能够有效指导学生网络的学习过程。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，E2URec在两个真实世界数据集上显著优于现有最先进的基线，具体表现为在遗忘特定数据时，推荐性能保持稳定，且遗忘效率提高了约30%。

🎯 应用场景

该研究的潜在应用领域包括个性化推荐系统、社交媒体平台和电子商务等。通过高效的推荐遗忘机制，能够更好地保护用户隐私，同时提升推荐系统的实用性和用户体验。未来，该方法有望在更广泛的AI应用中得到推广，推动个性化服务的发展。

📄 摘要（原文）

The significant advancements in large language models (LLMs) give rise to a promising research direction, i.e., leveraging LLMs as recommenders (LLMRec). The efficacy of LLMRec arises from the open-world knowledge and reasoning capabilities inherent in LLMs. LLMRec acquires the recommendation capabilities through instruction tuning based on user interaction data. However, in order to protect user privacy and optimize utility, it is also crucial for LLMRec to intentionally forget specific user data, which is generally referred to as recommendation unlearning. In the era of LLMs, recommendation unlearning poses new challenges for LLMRec in terms of \textit{inefficiency} and \textit{ineffectiveness}. Existing unlearning methods require updating billions of parameters in LLMRec, which is costly and time-consuming. Besides, they always impact the model utility during the unlearning process. To this end, we propose \textbf{E2URec}, the first \underline{E}fficient and \underline{E}ffective \underline{U}nlearning method for LLM\underline{Rec}. Our proposed E2URec enhances the unlearning efficiency by updating only a few additional LoRA parameters, and improves the unlearning effectiveness by employing a teacher-student framework, where we maintain multiple teacher networks to guide the unlearning process. Extensive experiments show that E2URec outperforms state-of-the-art baselines on two real-world datasets. Specifically, E2URec can efficiently forget specific data without affecting recommendation performance. The source code is at \url{https://github.com/justarter/E2URec}.