Large Language Models as Conversational Movie Recommenders: A User Study

📄 arXiv: 2404.19093v1 📥 PDF

作者: Ruixuan Sun, Xinyi Li, Avinash Akella, Joseph A. Konstan

分类: cs.IR, cs.AI, cs.HC

发布日期: 2024-04-29

💡 一句话要点

利用大型语言模型提升个性化电影推荐的用户体验

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 个性化推荐 电影推荐 用户体验 推荐系统

📋 核心要点

  1. 现有的电影推荐系统在个性化和用户信任方面存在不足，导致用户体验不佳。
  2. 本研究通过结合历史消费评估和个性化提示技术，探索LLMs在电影推荐中的应用。
  3. 实验结果表明，LLMs在推荐解释性上表现优异，但个性化和多样性仍需改进，用户观看电影数量影响更显著。

📝 摘要（中文）

本研究探讨了大型语言模型（LLMs）在个性化电影推荐中的有效性，基于用户的视角进行在线实地实验。通过对160名活跃用户的对话和调查响应数据进行分析，我们发现LLMs在推荐解释性方面表现良好，但在个性化、多样性和用户信任度上存在不足。此外，不同的个性化提示技术对用户感知的推荐质量影响不大，而用户观看的电影数量则起着更重要的作用。LLMs在推荐冷门或小众电影方面表现出更强的能力。通过定性分析，我们识别出与用户互动体验相关的关键对话模式，强调提供个人背景和示例对于获得高质量推荐的重要性。

🔬 方法详解

问题定义：本论文旨在解决现有电影推荐系统在个性化和用户信任方面的不足，尤其是在用户体验和推荐质量上存在的挑战。现有方法往往无法充分考虑用户的个人偏好和历史观看记录。

核心思路：论文提出利用大型语言模型（LLMs）进行个性化电影推荐，通过分析用户的对话和反馈，探索如何提高推荐的解释性和用户满意度。设计上强调用户的个人背景和具体示例，以增强推荐的相关性。

技术框架：研究采用了在线实地实验的方法，结合了用户的历史消费数据和个性化提示技术。主要模块包括用户对话分析、推荐生成和用户反馈收集，形成闭环的推荐系统。

关键创新：论文的创新点在于将LLMs应用于电影推荐领域，强调了推荐解释性的重要性，并通过用户反馈验证了个性化提示技术的有效性。与传统推荐系统相比，LLMs能够更好地推荐冷门电影。

关键设计：在实验中，设置了不同的个性化提示策略，并对用户观看的电影数量进行了详细记录。损失函数和网络结构的具体细节未在摘要中明确，但强调了用户反馈对推荐质量的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，LLMs在推荐解释性方面表现优异，但在个性化和多样性上仍有待提高。用户观看的电影数量对推荐质量的影响显著，而不同的个性化提示技术对用户感知的推荐质量影响不大。LLMs在推荐冷门电影方面展现出更强的能力。

🎯 应用场景

该研究的潜在应用领域包括在线流媒体平台、社交媒体和个性化内容推荐系统。通过改进电影推荐的个性化和解释性，能够提升用户体验，增加用户粘性，并为内容提供商提供更精准的用户洞察，未来可能影响整个娱乐行业的推荐策略。

📄 摘要（原文）

This paper explores the effectiveness of using large language models (LLMs) for personalized movie recommendations from users' perspectives in an online field experiment. Our study involves a combination of between-subject prompt and historic consumption assessments, along with within-subject recommendation scenario evaluations. By examining conversation and survey response data from 160 active users, we find that LLMs offer strong recommendation explainability but lack overall personalization, diversity, and user trust. Our results also indicate that different personalized prompting techniques do not significantly affect user-perceived recommendation quality, but the number of movies a user has watched plays a more significant role. Furthermore, LLMs show a greater ability to recommend lesser-known or niche movies. Through qualitative analysis, we identify key conversational patterns linked to positive and negative user interaction experiences and conclude that providing personal context and examples is crucial for obtaining high-quality recommendations from LLMs.