TSPORec: Token Selection via Preference Optimization for LLM-Based Sequential Recommendation

📄 arXiv: 2608.09605v1 📥 PDF

作者: Wenqiao Zhu, Chao Xu, Haipang Wu, Ji Liu

分类: cs.IR, cs.AI

发布日期: 2026-08-10

备注: 16 pages

🔗 代码/项目: GITHUB

💡 一句话要点

提出TSPORec以解决LLM推荐系统中的信息损失问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 推荐系统 大型语言模型 信息选择 偏好优化 计算效率 深度学习 用户体验

📋 核心要点

  1. 现有LLM推荐方法通常只考虑项目描述的前几个token，导致丢失重要信息，影响推荐效果。
  2. 本文提出TSPORec，通过优化偏好选择信息丰富的token，提升推荐系统的性能和效率。
  3. 实验结果显示，TSPORec在两个模型和数据集上相比六个基线方法，性能提升可达31.25%，效率提升可达63.4%。

📝 摘要（中文）

大型语言模型（LLMs）已成为提升推荐系统的重要工具，其优势在于能够利用丰富的文本信息和建模用户的异质偏好。然而，现有的LLM推荐方法通常只使用项目描述的前几个token，导致有价值的信息被丢弃，从而影响推荐效果。为了解决这一问题，本文提出了一种新的Token选择方法TSPORec，通过优化偏好选择信息丰富的token，以提升推荐性能。我们设计了一个三阶段的流程来选择信息token，并引入了一种新颖的代理奖励机制。实验结果表明，TSPORec在性能和计算效率上均有显著提升，性能提升可达31.25%，效率提升可达63.4%。

🔬 方法详解

问题定义：现有的LLM推荐系统在处理项目描述时，通常只使用前几个token，导致有价值的信息被丢弃，从而影响推荐的准确性和效果。

核心思路：本文提出的TSPORec方法通过优化偏好选择信息丰富的token，旨在充分利用项目描述中的所有文本信息，以提升推荐性能和计算效率。

技术框架：TSPORec采用三阶段的流程，首先进行token的初步筛选，然后通过代理奖励机制优化选择的token，最后将选出的token用于推荐模型中。

关键创新：TSPORec的创新点在于引入了代理奖励机制，能够有效地选择出对推荐性能影响最大的token，与传统方法相比，避免了信息的损失。

关键设计：在设计中，TSPORec设置了特定的参数以优化token选择过程，并通过实验验证了不同损失函数和网络结构的有效性，确保了推荐系统的高效性和准确性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在实验中，TSPORec在两个不同模型和数据集上表现出色，相比六个基线方法，推荐性能提升高达31.25%，计算效率提升可达63.4%。这些结果表明，TSPORec在实际应用中具有显著的优势和潜力。

🎯 应用场景

TSPORec的研究成果可广泛应用于电商、社交媒体和内容推荐等领域，帮助提升用户体验和满意度。通过更精准的推荐，企业可以提高用户的留存率和转化率，进而推动业务增长。未来，该方法还可以与其他推荐算法结合，进一步提升推荐系统的智能化水平。

📄 摘要（原文）

Large Language Models (LLMs) have emerged as powerful tools for improving recommendation systems. The effectiveness of LLMs arises from their ability to harness rich textual information and their capacity to model heterogeneous user preferences based on users' interaction history. However, due to the large-scale and deep architectures, LLM-based sequential recommendation approaches generally incur high inference costs, resulting in a low return on investment. To mitigate this cost, many existing approaches resort to using only the first few tokens of item descriptions, which inadvertently discards valuable information contained in the full text, thereby leading to suboptimal recommendation performance. To address this limitation, we propose a novel Token Selection approach for Preference Optimization in LLM-based sequential Recommendation, i.e., TSPORec, which accurately pinpoints informative tokens throughout the entire textual content to improve recommendation performance. Specifically, we design a three-stage pipeline to select informative tokens and introduce a novel proxy reward to facilitate the implementation. TSPORec not only enhances recommendation performance but also improves computational efficiency. Extensive experiments across two models and datasets demonstrate the superb performance (up to 31.25%) and efficiency (up to 63.4%) of our approach compared with six baseline approaches. Code is available at https://github.com/WNQzhu/TSPORec.git.