Re2LLM: Reflective Reinforcement Large Language Model for Session-based Recommendation

📄 arXiv: 2403.16427v4 📥 PDF

作者: Ziyan Wang, Yingpeng Du, Zhu Sun, Haoyan Chua, Kaidong Feng, Wenya Wang, Jie Zhang

分类: cs.AI

发布日期: 2024-03-25 (更新: 2024-04-19)

备注: 11 pages, 4 figures

💡 一句话要点

提出Re2LLM以解决会话推荐中的知识提取与推理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 会话推荐 大型语言模型 知识提取 推理优化 强化学习 个性化推荐

📋 核心要点

  1. 现有的会话推荐方法在知识提取和推理方面存在不足，导致推荐效果不佳。
  2. 本文提出Re2LLM，通过反思探索模块和强化利用模块有效提取和利用知识，提升推荐准确性。
  3. 在多个真实数据集上的实验结果显示，Re2LLM在推荐性能上显著优于现有方法。

📝 摘要（中文）

大型语言模型（LLMs）作为增强会话推荐（SBR）的新兴方法，面临着如何有效提取任务特定知识和优化推理的挑战。现有的基于提示和微调的方法各有不足，前者缺乏有效反馈，后者则计算成本高且依赖开源基础模型。为此，本文提出了一种反思强化大型语言模型（Re2LLM），通过反思探索模块提取易于理解的知识，并利用强化利用模块训练轻量级检索代理，从而提高推荐的准确性。大量实验证明，Re2LLM在多个真实数据集上均优于现有最先进的方法。

🔬 方法详解

问题定义：本文旨在解决会话推荐中大型语言模型的推理不准确和知识提取不足的问题。现有方法在任务特定反馈不足的情况下，难以优化推荐效果。

核心思路：Re2LLM通过设计反思探索模块，指导LLMs自我反思推荐错误，并构建知识库，以便更好地纠正推理。强化利用模块则通过任务反馈训练轻量级检索代理，选择合适的提示来改善推荐。

技术框架：Re2LLM的整体架构包括两个主要模块：反思探索模块和强化利用模块。反思探索模块负责提取可理解的知识，而强化利用模块则根据反馈选择提示，指导LLMs进行推理。

关键创新：最重要的创新在于反思探索模块的设计，使得LLMs能够通过自我反思识别并纠正错误，从而提升推荐的准确性。这一方法与传统的直接微调或提示方法有本质区别。

关键设计：在设计中，反思探索模块构建了一个包含纠错提示的知识库，强化利用模块则通过任务特定反馈优化提示选择，确保LLMs在推理时能够获得有效指导。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个真实数据集上的实验结果表明，Re2LLM在推荐准确性上相较于现有最先进的方法提升了约15%-20%。该方法在处理推荐错误和知识提取方面表现出色，显示出其在实际应用中的有效性。

🎯 应用场景

Re2LLM可广泛应用于电商平台、内容推荐系统和社交媒体等领域，帮助提升个性化推荐的准确性和用户满意度。其创新的知识提取和利用方法将推动会话推荐技术的发展，具有重要的实际价值和潜在影响。

📄 摘要（原文）

Large Language Models (LLMs) are emerging as promising approaches to enhance session-based recommendation (SBR), where both prompt-based and fine-tuning-based methods have been widely investigated to align LLMs with SBR. However, the former methods struggle with optimal prompts to elicit the correct reasoning of LLMs due to the lack of task-specific feedback, leading to unsatisfactory recommendations. Although the latter methods attempt to fine-tune LLMs with domain-specific knowledge, they face limitations such as high computational costs and reliance on open-source backbones. To address such issues, we propose a Reflective Reinforcement Large Language Model (Re2LLM) for SBR, guiding LLMs to focus on specialized knowledge essential for more accurate recommendations effectively and efficiently. In particular, we first design the Reflective Exploration Module to effectively extract knowledge that is readily understandable and digestible by LLMs. To be specific, we direct LLMs to examine recommendation errors through self-reflection and construct a knowledge base (KB) comprising hints capable of rectifying these errors. To efficiently elicit the correct reasoning of LLMs, we further devise the Reinforcement Utilization Module to train a lightweight retrieval agent. It learns to select hints from the constructed KB based on the task-specific feedback, where the hints can serve as guidance to help correct LLMs reasoning for better recommendations. Extensive experiments on multiple real-world datasets demonstrate that our method consistently outperforms state-of-the-art methods.