WhisperRec: Latent Reasoning for Efficient Foundation Recommendation Models

📄 arXiv: 2607.26621v1 📥 PDF

作者: Hao Jiang, Peiru Du, Pengfei Yao, Mengting Li, Siyuan Lou, Kuo Cai, Sheng Yu, Qiang Luo, Jian Liang, Ruiming Tang, Fei Pan, Peng Jiang, Wenwu Ou

分类: cs.IR, cs.AI

发布日期: 2026-07-29

💡 一句话要点

提出WhisperRec以解决推荐模型推理效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 推荐系统 潜在推理 思维链 高效推理 个性化推荐

📋 核心要点

  1. 现有推荐模型在推理过程中依赖显式的思维链，导致推理效率低下和响应延迟。
  2. WhisperRec通过将思维链压缩为潜在推理令牌，实现了在潜在空间中进行高效推理，避免了冗长的推理过程。
  3. 在Kuaishou数据集上，WhisperRec相比显式CoT方法提升了17.44%的SID@64，并且在线推理吞吐量提高了10倍以上。

📝 摘要（中文）

大型语言模型（LLMs）展现出强大的推理能力，促使其作为基础推荐模型（FRMs）的核心。然而，现有方法在Think-then-Answer范式下，依赖显式的思维链（CoT）进行推荐，导致推理过程冗长且效率低下。为此，本文提出WhisperRec，一个高效的潜在推理框架，通过将教师生成的CoT压缩为可学习的潜在推理令牌，实现了在潜在空间中进行推理，避免了冗长的推理生成。实验结果表明，WhisperRec在工业规模的Kuaishou数据集和公共Kuaishou LLM-Rec基准上均优于显式CoT方法和传统基线。

🔬 方法详解

问题定义：本文旨在解决现有推荐模型在推理过程中因依赖显式思维链而导致的效率低下和延迟问题。现有方法在处理动态和多样化用户兴趣时表现不佳，固定的思维链模板难以适应不同场景。

核心思路：WhisperRec提出了一种潜在推理框架，通过将教师生成的思维链压缩为可学习的潜在推理令牌，实现了在潜在空间中进行推理，避免了冗长的推理生成过程。该方法保留了决策相关的推理信息，同时降低了推理延迟。

技术框架：WhisperRec的整体架构包括三个主要阶段：首先引入多视角自适应思维链（MV-ACoT），从不同角度构建高质量的用户兴趣监督；其次，采用三阶段的潜在推理对齐程序，将教师的思维链逐步内化为潜在表示；最后，通过基于课程的后训练激活潜在令牌推理以支持下游推荐。

关键创新：WhisperRec的核心创新在于将思维链压缩为潜在令牌，并在潜在空间中进行推理，这与现有的显式思维链方法有本质区别，显著提高了推理效率。

关键设计：在设计上，MV-ACoT根据实例的复杂性调整推理复杂度，对简单案例进行轻量分析，而对复杂案例进行多因素推理。此外，采用的损失函数和网络结构经过精心设计，以确保潜在表示的有效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，WhisperRec在Kuaishou数据集上相比显式思维链方法提升了17.44%的SID@64，且在线推理吞吐量提高了10倍以上，展现出显著的性能优势。

🎯 应用场景

WhisperRec的潜在推理框架可广泛应用于推荐系统、个性化广告和内容推荐等领域。其高效的推理能力能够显著提升用户体验，降低响应时间，适应不断变化的用户需求，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large language models (LLMs) have demonstrated strong reasoning capabilities, motivating their adoption as backbones for foundation recommendation models (FRMs). Existing approaches typically enhance recommendation with explicit Chain-of-Thought (CoT) under the Think-then-Answer paradigm. However, generating lengthy rationales introduces substantial inference overhead, while fixed CoT templates struggle to model diverse, dynamic, and context-dependent user interests. We propose WhisperRec, an efficient latent reasoning framework for FRMs. WhisperRec compresses teacher-generated CoT into learnable latent reasoning tokens, enabling a Latent-Reason-then-Answer paradigm that performs reasoning in latent space without producing verbose rationales. This design retains decision-relevant reasoning information while avoiding the latency bottleneck of autoregressive rationale generation. Specifically, it first introduces Multi-View Adaptive CoT (MV-ACoT) to construct diverse, high-quality supervision from complementary perspectives on user interests. MV-ACoT also adapts reasoning complexity to each instance, applying lightweight analysis to clear cases and targeted multi-factor reasoning to challenging ones. Building on a pre-trained FRM, WhisperRec then employs a three-stage Latent Reasoning Alignment procedure to progressively internalize teacher CoT into latent representations. Finally, curriculum-based post-training activates latent-token reasoning for downstream recommendation while preserving standard recommendation capability. Experiments on an industrial-scale Kuaishou dataset and the public Kuaishou LLM-Rec benchmark show that WhisperRec consistently outperforms explicit-CoT methods and conventional baselines. Compared with explicit CoT Think and No-Think variants, WhisperRec improves SID@64 by 17.44% and 9.33%, respectively, and achieves over 10x higher online inference throughput.