IDGenRec: LLM-RecSys Alignment with Textual ID Learning
作者: Juntao Tan, Shuyuan Xu, Wenyue Hua, Yingqiang Ge, Zelong Li, Yongfeng Zhang
分类: cs.IR, cs.AI, cs.CL, cs.LG
发布日期: 2024-03-27 (更新: 2024-05-17)
备注: Accepted in SIGIR 2024
🔗 代码/项目: GITHUB
💡 一句话要点
提出IDGen以解决生成推荐中的文本ID编码问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 生成推荐 大型语言模型 文本ID生成 个性化推荐 自然语言处理 零-shot学习 推荐系统
📋 核心要点
- 现有生成推荐方法在文本生成框架中难以有效编码推荐项，缺乏简洁且有意义的ID表示。
- 本文提出IDGen，通过生成独特的文本ID来对齐LLMs与推荐需求，实现个性化推荐与自然语言生成的结合。
- 实验结果显示，IDGen在序列推荐任务中表现优于现有模型，并在零-shot设置下的推荐性能与传统模型相当。
📝 摘要（中文）
基于大型语言模型（LLMs）的生成推荐已将传统的基于排名的推荐风格转变为文本生成范式。然而，与标准自然语言处理任务相比，当前生成推荐在有效编码推荐项方面面临挑战。为此，本文提出IDGen，通过使用人类语言标记生成独特、简洁且语义丰富的平台无关文本ID，从而更好地将LLMs与推荐需求对齐。通过与LLM推荐器共同训练文本ID生成器，实现个性化推荐与自然语言生成的无缝集成。实验表明，该框架在标准实验设置下的序列推荐中始终超越现有模型，并在19个不同数据集上训练基础推荐模型，零-shot测试在6个未见数据集上的表现与一些传统监督训练模型相当，显示IDGen作为生成推荐基础模型的潜力。
🔬 方法详解
问题定义：当前生成推荐方法在文本到文本的生成框架中，难以有效地对推荐项进行编码，导致推荐效果不佳。现有方法通常依赖于复杂的ID表示，无法满足简洁和语义丰富的需求。
核心思路：本文提出IDGen，通过训练一个文本ID生成器，利用人类语言标记生成独特且语义丰富的文本ID，从而更好地对齐LLMs与推荐需求，实现个性化推荐的自然语言生成。
技术框架：整体架构包括文本ID生成器和LLM推荐器两个主要模块。文本ID生成器负责生成推荐项的文本ID，而LLM推荐器则基于这些ID生成个性化推荐。两者通过联合训练实现无缝集成。
关键创新：IDGen的核心创新在于使用人类语言标记生成平台无关的文本ID，这一方法与传统的ID表示方式截然不同，能够有效提升推荐的语义理解和生成质量。
关键设计：在模型设计中，采用了特定的损失函数来优化文本ID的生成质量，并通过多层神经网络结构增强模型的表达能力。此外，模型在训练过程中使用了多种数据集，以提高其泛化能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，IDGen在标准实验设置下的序列推荐任务中，性能持续超越现有模型。在零-shot设置下，预训练的基础模型在6个未见数据集上的表现与一些传统监督训练模型相当，显示出IDGen的强大潜力。
🎯 应用场景
该研究的潜在应用领域包括电商推荐、内容推荐和社交媒体推荐等场景。通过生成语义丰富的文本ID，IDGen能够提升用户体验，提供更加个性化的推荐服务，未来可能在多种推荐系统中得到广泛应用。
📄 摘要（原文）
Generative recommendation based on Large Language Models (LLMs) have transformed the traditional ranking-based recommendation style into a text-to-text generation paradigm. However, in contrast to standard NLP tasks that inherently operate on human vocabulary, current research in generative recommendations struggles to effectively encode recommendation items within the text-to-text framework using concise yet meaningful ID representations. To better align LLMs with recommendation needs, we propose IDGen, representing each item as a unique, concise, semantically rich, platform-agnostic textual ID using human language tokens. This is achieved by training a textual ID generator alongside the LLM-based recommender, enabling seamless integration of personalized recommendations into natural language generation. Notably, as user history is expressed in natural language and decoupled from the original dataset, our approach suggests the potential for a foundational generative recommendation model. Experiments show that our framework consistently surpasses existing models in sequential recommendation under standard experimental setting. Then, we explore the possibility of training a foundation recommendation model with the proposed method on data collected from 19 different datasets and tested its recommendation performance on 6 unseen datasets across different platforms under a completely zero-shot setting. The results show that the zero-shot performance of the pre-trained foundation model is comparable to or even better than some traditional recommendation models based on supervised training, showing the potential of the IDGen paradigm serving as the foundation model for generative recommendation. Code and data are open-sourced at https://github.com/agiresearch/IDGenRec.