SPAR: Personalized Content-Based Recommendation via Long Engagement Attention

📄 arXiv: 2402.10555v2 📥 PDF

作者: Chiyu Zhang, Yifei Sun, Jun Chen, Jie Lei, Muhammad Abdul-Mageed, Sinong Wang, Rong Jin, Sem Park, Ning Yao, Bo Long

分类: cs.IR, cs.CL

发布日期: 2024-02-16 (更新: 2024-05-22)

备注: Under review

💡 一句话要点

提出SPAR框架以解决个性化内容推荐中的长历史处理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 个性化推荐 长历史处理 预训练语言模型 多重注意力机制 用户画像 内容推荐 注意力稀疏

📋 核心要点

  1. 现有方法在处理长用户历史文本时面临困难，且用户与项目之间的交互不足，影响推荐效果。
  2. 本文提出SPAR框架，利用PLM和多重注意力机制，以会话为基础有效提取用户兴趣，提升推荐准确性。
  3. 在两个基准数据集上的实验结果显示，SPAR框架在性能上超越了现有的最先进方法，验证了其有效性。

📝 摘要（中文）

利用用户的长期参与历史对于个性化内容推荐至关重要。预训练语言模型（PLMs）在自然语言处理中的成功促使其在编码用户历史和候选项目中得到应用，将内容推荐框架化为文本语义匹配任务。然而，现有方法在处理非常长的用户历史文本和用户-项目交互不足方面仍然面临挑战。本文提出了一个基于内容的推荐框架SPAR，有效解决了从长用户参与历史中提取整体用户兴趣的挑战。通过利用PLM、多重注意力层和注意力稀疏机制，以会话为基础编码用户历史，同时充分融合用户和项目特征以进行参与预测，并保持两侧的独立表示，便于实际模型部署。此外，我们通过利用大型语言模型（LLM）从用户参与历史中提取全球兴趣，增强了用户画像。大量实验表明，我们的框架在两个基准数据集上超越了现有的最先进方法。

🔬 方法详解

问题定义：本文旨在解决个性化内容推荐中如何有效处理用户的长历史参与数据的问题。现有方法在处理长文本时常常无法充分提取用户的兴趣，导致推荐效果不佳。

核心思路：SPAR框架通过引入预训练语言模型（PLM）和多重注意力机制，以会话为基础对用户历史进行编码，从而更全面地捕捉用户的兴趣变化。这样的设计使得模型能够在长时间跨度内保持对用户兴趣的敏感性。

技术框架：SPAR框架主要包括三个模块：用户历史编码模块、用户与项目特征融合模块以及参与预测模块。用户历史编码模块使用PLM和多重注意力层来处理用户的长历史数据，特征融合模块则将用户和项目的特征进行有效结合，最后通过参与预测模块输出推荐结果。

关键创新：SPAR的核心创新在于引入了注意力稀疏机制，使得模型能够在处理长文本时聚焦于重要信息，从而提高了推荐的准确性和效率。这一机制与现有方法相比，显著提升了用户兴趣的提取能力。

关键设计：在模型设计中，采用了特定的损失函数来优化用户与项目之间的交互，同时在网络结构上引入了多重注意力层，以增强模型对用户历史的理解能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在两个基准数据集上的实验结果表明，SPAR框架在推荐准确性上超越了现有最先进的方法，具体提升幅度达到X%（具体数据未知），验证了其在处理长用户历史方面的有效性和优势。

🎯 应用场景

SPAR框架在个性化推荐系统中具有广泛的应用潜力，尤其适用于电商、社交媒体和内容平台等领域。通过更好地理解用户的长期兴趣，SPAR能够提供更精准的推荐，提升用户体验和满意度。未来，该框架还可以与其他AI技术结合，进一步增强推荐系统的智能化水平。

📄 摘要（原文）

Leveraging users' long engagement histories is essential for personalized content recommendations. The success of pretrained language models (PLMs) in NLP has led to their use in encoding user histories and candidate items, framing content recommendations as textual semantic matching tasks. However, existing works still struggle with processing very long user historical text and insufficient user-item interaction. In this paper, we introduce a content-based recommendation framework, SPAR, which effectively tackles the challenges of holistic user interest extraction from the long user engagement history. It achieves so by leveraging PLM, poly-attention layers and attention sparsity mechanisms to encode user's history in a session-based manner. The user and item side features are sufficiently fused for engagement prediction while maintaining standalone representations for both sides, which is efficient for practical model deployment. Moreover, we enhance user profiling by exploiting large language model (LLM) to extract global interests from user engagement history. Extensive experiments on two benchmark datasets demonstrate that our framework outperforms existing state-of-the-art (SoTA) methods.