LLM-Derived Priors for Thompson Sampling in Cold-Start Comment Recommendation

📄 arXiv: 2608.03382v1 📥 PDF

作者: Eugene Lee, Oseong Choi, Byungsoo Kang, Taeyeong Jang

分类: cs.IR, cs.LG

发布日期: 2026-08-04

备注: 10 pages, 4 figures

💡 一句话要点

提出基于LLM的先验知识以解决冷启动评论推荐问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多臂赌博机 汤普森采样 冷启动问题 大型语言模型 贝叶斯先验 在线推荐 用户生成内容

📋 核心要点

  1. 现有的汤普森采样方法在冷启动阶段面临新评论缺乏交互历史的问题，导致推荐效果不佳。
  2. 本文提出利用大型语言模型提取评论的语义信息，将其转化为贝叶斯先验，从而为汤普森采样提供热启动支持。
  3. 实验结果表明，基于LLM的先验在稀疏反馈环境中表现最佳，尤其在少量交互证据积累后，效果显著提升。

📝 摘要（中文）

多臂赌博机算法，尤其是汤普森采样，广泛应用于在线推荐。然而，这些方法在冷启动时面临挑战，尤其是新引入的臂缺乏交互历史。本文利用大型语言模型（LLMs）从用户生成的评论中提取语义信号，将其转化为信息丰富的贝叶斯先验，以在稀疏的早期反馈下为汤普森采样提供热启动支持。通过在真实世界的在线A/B/C测试中比较均匀先验与两种基于LLM的设计，结果表明LLM先验在稀疏反馈环境中最为有效，且先验设计对不同人群的影响显著。

🔬 方法详解

问题定义：本文旨在解决多臂赌博机算法在冷启动阶段的推荐效果不足，尤其是新评论缺乏交互历史的问题。现有方法在此情况下难以有效利用信息，导致推荐质量下降。

核心思路：通过利用大型语言模型（LLMs）提取用户生成评论的语义信号，将其转化为贝叶斯先验，以便在缺乏交互反馈的情况下为汤普森采样提供有效的热启动支持。

技术框架：整体框架包括三个主要模块：首先，使用LLMs分析评论文本并提取语义特征；其次，基于提取的特征构建性别-年龄段的贝叶斯先验；最后，结合这些先验进行汤普森采样的更新与决策。

关键创新：本文的主要创新在于将LLM提取的语义信息转化为贝叶斯先验，从而有效解决冷启动问题。这一方法与传统的均匀先验相比，能够更好地适应用户的多样性和评论的内容特征。

关键设计：在设计中，采用了分段更新的后验方法，针对不同性别和年龄段分别维护和更新先验。此外，实验中还考虑了点击率与先验的对齐程度，以优化推荐效果。具体的参数设置和损失函数设计在实验部分进行了详细阐述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，基于LLM的先验在稀疏反馈环境中表现优异，相较于均匀先验，点击率提升显著，尤其在少量交互证据积累后，效果最为明显，验证了先验设计的有效性。

🎯 应用场景

该研究的潜在应用领域包括社交媒体平台、在线评论系统及电子商务推荐等。通过有效解决冷启动问题，能够提升用户体验和推荐系统的准确性，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Multi-armed bandit algorithms, especially Thompson sampling, are widely used in online recommendation. Despite their ability to adapt from online feedback, these methods often suffer from cold-start limitations when newly introduced arms have little or no interaction history. In our setting, the candidate arms are user-generated textual comments, whose semantic content can reveal a title's appeal before sufficient interaction feedback is available. We therefore use large language models (LLMs) to extract semantic signals from comment text and convert them into informative Bayesian priors that warm-start Thompson sampling under sparse early-stage feedback. To account for aggregate segment-level differences in response patterns, we maintain and update posteriors separately for each gender-age segment. In a real-world online A/B/C test, we compare a uniform prior with two LLM-based designs: a Gender Prior for demographic-affinity cues and a Content Prior for title-specific identity cues. The results show that LLM-based priors are most beneficial in sparse-feedback regimes -- with the largest gains emerging once a small amount of interaction evidence has accumulated -- and that prior design leads to distinct funnel-level effects. We further analyze prior-reward alignment and demographic heterogeneity, finding that click-oriented alignment is strongest for the Gender Prior and that treatment effects vary substantially across demographic segments. These findings suggest that LLM-derived priors can serve as a practical warm-start mechanism for text-rich bandit recommendation, while also revealing deployment trade-offs.