Enhancing Content-based Recommendation via Large Language Model

📄 arXiv: 2404.00236v2 📥 PDF

作者: Wentao Xu, Qianqian Xie, Shuo Yang, Jiangxia Cao, Shuchao Pang

分类: cs.IR, cs.CL

发布日期: 2024-03-30 (更新: 2024-07-28)

备注: Accepted at CIKM 2024

💡 一句话要点

提出LoID以解决内容推荐中的语义知识转移问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 内容推荐 语义知识转移 大语言模型 对比学习 用户行为分析

📋 核心要点

  1. 现有推荐系统主要依赖隐式交互，忽视了显式评论的语义信息提取与利用，导致推荐效果受限。
  2. 本文提出LoID方法，通过LoRA预训练的大语言模型提取多方面语义信息，并使用ID对比目标对齐特征空间。
  3. 实验结果表明，LoID在多个真实数据集上相较于最先进基线显著提升了推荐性能，验证了其有效性。

📝 摘要（中文）

在实际应用中，用户与不同项目的交互表现出不同的行为，包括隐式的点击/喜欢和显式的评论/评价。然而，现有推荐系统大多集中于如何通过隐式交互描述用户偏好，忽视了内容基础的显式交互。本文提出了一种名为LoID的插件式语义知识转移方法，旨在提取多方面的语义信息并对齐用户/项目ID特征空间。通过在真实数据集上的广泛实验，结果显示LoID显著提升了推荐效果。

🔬 方法详解

问题定义：本文旨在解决内容推荐系统中，如何有效提取和利用用户显式评论的语义知识，以及如何对齐用户/项目ID与内容语义特征空间的问题。现有方法在这两方面存在明显不足，导致推荐效果不佳。

核心思路：论文提出的LoID方法通过引入LoRA技术进行大语言模型的预训练，旨在提取多方面的语义信息。同时，使用ID对比目标来对齐特征空间，从而增强推荐系统的性能。

技术框架：LoID的整体架构包括两个主要模块：一是基于LoRA的大语言模型预训练模块，负责提取多维度的语义信息；二是ID对比模块，负责对齐用户和项目的特征空间。整个流程通过这两个模块的协同工作来提升推荐效果。

关键创新：LoID的核心创新在于结合了大语言模型的预训练与ID对比学习，形成了一种新的语义知识转移机制。这一机制有效解决了传统推荐系统中对显式评论语义信息提取不足的问题。

关键设计：在模型设计中，采用了LoRA技术以降低大语言模型的训练成本，同时在对比学习中引入了特定的损失函数，以确保用户ID与内容语义特征的有效对齐。

🖼️ 关键图片

fig_0

📊 实验亮点

在与最先进的基线进行对比实验中，LoID方法在多个真实数据集上实现了显著的性能提升，具体提升幅度达到XX%，验证了其在内容推荐中的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括电子商务、社交媒体和内容平台等，能够帮助这些平台更好地理解用户需求，从而提供个性化的推荐服务。未来，LoID方法可能会在多种推荐系统中得到广泛应用，提升用户体验和满意度。

📄 摘要（原文）

In real-world applications, users express different behaviors when they interact with different items, including implicit click/like interactions, and explicit comments/reviews interactions. Nevertheless, almost all recommender works are focused on how to describe user preferences by the implicit click/like interactions, to find the synergy of people. For the content-based explicit comments/reviews interactions, some works attempt to utilize them to mine the semantic knowledge to enhance recommender models. However, they still neglect the following two points: (1) The content semantic is a universal world knowledge; how do we extract the multi-aspect semantic information to empower different domains? (2) The user/item ID feature is a fundamental element for recommender models; how do we align the ID and content semantic feature space? In this paper, we propose a `plugin' semantic knowledge transferring method \textbf{LoID}, which includes two major components: (1) LoRA-based large language model pretraining to extract multi-aspect semantic information; (2) ID-based contrastive objective to align their feature spaces. We conduct extensive experiments with SOTA baselines on real-world datasets, the detailed results demonstrating significant improvements of our method LoID.