Enhancing Sequential Recommender with Large Language Models for Joint Video and Comment Recommendation

📄 arXiv: 2403.13574v2 📥 PDF

作者: Bowen Zheng, Zihan Lin, Enze Liu, Chen Yang, Enyang Bai, Cheng Ling, Wayne Xin Zhao, Ji-Rong Wen

分类: cs.IR, cs.AI

发布日期: 2024-03-20 (更新: 2025-07-23)

备注: Accepted by RecSys2025

💡 一句话要点

提出LSVCR以解决视频与评论推荐的个性化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频推荐 评论推荐 个性化推荐 大语言模型 序列推荐 用户偏好建模 多模态融合

📋 核心要点

  1. 现有推荐系统主要集中在用户与视频的交互，忽视了评论内容和交互对用户偏好的影响。
  2. 本文提出的LSVCR方法通过结合视频和评论的用户交互历史，实现了联合推荐，提升了个性化推荐效果。
  3. 实验结果显示，LSVCR在视频和评论推荐任务中表现优异，在线测试中实现了4.13%的评论观看时间增益。

📝 摘要（中文）

随着在线视频平台上评论的阅读和撰写成为观看体验的重要组成部分，现有推荐系统主要关注用户与视频的交互行为，忽视了评论内容和交互在用户偏好建模中的作用。本文提出了一种新颖的推荐方法LSVCR，利用用户与视频和评论的交互历史，联合进行个性化的视频和评论推荐。该方法包括两个关键组件：序列推荐模型和补充的大语言模型推荐器。通过两阶段的训练范式，增强了序列推荐模型的语义表达。大量实验表明LSVCR在视频和评论推荐任务中的有效性，并通过在线A/B测试验证了其在实际应用中的优势，尤其在评论观看时间上实现了4.13%的累积增益。

🔬 方法详解

问题定义：本文旨在解决现有推荐系统未能有效整合用户与视频及评论的交互行为，导致个性化推荐效果不佳的问题。现有方法往往忽略了评论内容的重要性，限制了用户偏好的全面建模。

核心思路：论文提出的LSVCR方法通过引入序列推荐模型和补充的大语言模型，联合考虑用户与视频及评论的交互历史，从而更全面地捕捉用户偏好。通过两阶段的训练策略，增强了序列推荐模型的语义表达能力。

技术框架：LSVCR的整体架构包括两个主要模块：序列推荐模型（SR）作为主要推荐骨干，负责高效的用户偏好建模；补充的大语言模型（LLM）用于捕捉异构交互行为下的潜在用户偏好。训练过程分为个性化偏好对齐和推荐导向微调两个阶段。

关键创新：LSVCR的核心创新在于将序列推荐模型与大语言模型相结合，通过两阶段训练提升了推荐系统的语义理解能力。这种方法与传统的单一模型推荐方法本质上不同，能够更好地捕捉用户的复杂偏好。

关键设计：在模型设计中，采用了特定的损失函数来优化偏好对齐过程，并在网络结构上结合了序列模型与语言模型的优势，以实现更高效的推荐效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，LSVCR在视频和评论推荐任务中表现出色，尤其在在线A/B测试中，达到了4.13%的评论观看时间增益，显著优于传统推荐系统。这一结果表明，结合用户与评论的交互历史能够有效提升推荐质量。

🎯 应用场景

该研究的潜在应用领域包括在线视频平台、社交媒体和内容推荐系统等。通过更精准的个性化推荐，能够提升用户的观看体验和互动参与度，从而增加平台的用户粘性和内容消费。未来，该方法也可扩展到其他多模态推荐场景，具有广泛的实际价值。

📄 摘要（原文）

Nowadays, reading or writing comments on captivating videos has emerged as a critical part of the viewing experience on online video platforms. However, existing recommender systems primarily focus on users' interaction behaviors with videos, neglecting comment content and interaction in user preference modeling. In this paper, we propose a novel recommendation approach called LSVCR that utilizes user interaction histories with both videos and comments to jointly perform personalized video and comment recommendation. Specifically, our approach comprises two key components: sequential recommendation (SR) model and supplemental large language model (LLM) recommender. The SR model functions as the primary recommendation backbone (retained in deployment) of our method for efficient user preference modeling. Concurrently, we employ a LLM as the supplemental recommender (discarded in deployment) to better capture underlying user preferences derived from heterogeneous interaction behaviors. In order to integrate the strengths of the SR model and the supplemental LLM recommender, we introduce a two-stage training paradigm. The first stage, personalized preference alignment, aims to align the preference representations from both components, thereby enhancing the semantics of the SR model. The second stage, recommendation-oriented fine-tuning, involves fine-tuning the alignment-enhanced SR model according to specific objectives. Extensive experiments in both video and comment recommendation tasks demonstrate the effectiveness of LSVCR. Moreover, online A/B testing on KuaiShou platform verifies the practical benefits of our approach. In particular, we attain a cumulative gain of 4.13% in comment watch time.