Implicit Reasoning for Large Language Model-based Generative Recommendation

📄 arXiv: 2606.14142v1 📥 PDF

作者: Yinhan He, Liam Collins, Bhuvesh Kumar, Jundong Li, Neil Shah, Donald Loveland

分类: cs.CL, cs.AI

发布日期: 2026-06-12

💡 一句话要点

提出PauseRec以解决LLM生成推荐中的推理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 生成推荐 隐式推理 性能提升 训练效率

📋 核心要点

  1. 现有LLM生成推荐方法依赖显式推理，存在世界知识表达弱化和推理质量敏感等问题。
  2. 本文提出PauseRec，通过隐式推理避免了昂贵的推理轨迹获取和对齐训练，提升了推荐效果。
  3. 实验结果表明，PauseRec在性能上比标准显式方法提高了6.22%，训练成本降低了65%，推理速度提升了71.3%。

📝 摘要（中文）

大型语言模型（LLMs）越来越多地被用作生成推荐（GR）的基础，能够访问预训练的世界知识。然而，如何可靠地调用这些知识仍然不够清晰。现有方法通常使用语义ID（SIDs）表示项目，导致LLMs的自然语言推理接口受到干扰。本文系统性地分解了LLM生成推荐的显式推理训练流程，揭示了三大局限性：世界知识表达弱化、SID与自然语言嵌入空间不对齐、对推理质量敏感。为了解决这些问题，本文提出了PauseRec，一种轻量级的隐式推理范式，避免了高成本的推理轨迹获取和对齐训练，显著提高了性能和效率。

🔬 方法详解

问题定义：本文旨在解决LLM生成推荐中显式推理的局限性，现有方法在调用世界知识时表现不佳，且对推理质量过于敏感。

核心思路：提出PauseRec，采用隐式推理范式，避免了高成本的推理轨迹获取和对齐训练，从而提高了生成推荐的效率和效果。

技术框架：PauseRec的整体架构包括数据输入、隐式推理模块和输出生成，主要模块为隐式推理算法和推荐生成模块。

关键创新：PauseRec的核心创新在于其轻量级设计，显著减少了训练和推理的时间成本，与传统显式推理方法相比，提供了更高的效率和效果。

关键设计：在参数设置上，PauseRec优化了嵌入空间的对齐，采用了新的损失函数以提升推理质量，同时在网络结构上进行了简化，以适应隐式推理的需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PauseRec在标准显式推理方法上提升了6.22%的性能，同时训练成本降低了65%，推理速度提升了71.3%。这些结果表明PauseRec在生成推荐任务中的显著优势。

🎯 应用场景

该研究的潜在应用领域包括个性化推荐系统、智能助手和内容生成等。通过提高生成推荐的效率和准确性，PauseRec能够为用户提供更优质的推荐体验，未来可能在电商、社交媒体等多个行业产生深远影响。

📄 摘要（原文）

Large Language Models (LLMs) are increasingly adopted as backbones for Generative Recommendation (GR), promising access to pretrained world knowledge. Yet reliably invoking this knowledge for GR remains poorly understood. A key obstacle is that LLM-based GR typically represents items with Semantic IDs (SIDs), disrupting LLMs' natural-language reasoning interface because these tokens are unseen by the LLM during pretraining. Existing approaches address this with expensive multi-stage pipelines that ground SIDs and elicit explicit rationales, but offer limited insight into when and why each stage is necessary. In this work, we systematically decompose explicit reasoning training pipelines for LLM-based GR, revealing three key limitations: weakened world-knowledge verbalization, misalignment between SID and natural-language token embedding spaces, and sensitivity to rationale quality, all of which hurt explicit reasoning performance. To circumvent these issues, we propose PauseRec, a lightweight implicit reasoning paradigm tailored for GR. PauseRec is exceptionally practical, avoiding costly reasoning trace acquisition and reasoning alignment training, leading to a multitude of benefits: (1) it outperforms standard explicit CoT methods by up to 6.22%, (2) it reduces training cost by up to 65% GPU hours, and (3) it speeds up inference by up to 71.3%. These results position PauseRec as a lightweight alternative to explicit rationale generation, enabling more effective and efficient LLM-based GR.