RecPFN: Prior-Fitted Networks for In-Context-Based Recommendations
作者: En Zhi Tan, Jia Xiang Lim, Bryan Lijie Chew, Tze Minh Ng, Benjamin Yan Han Yap
分类: cs.LG
发布日期: 2026-08-20
备注: 12 pages, 4 figures, 8 tables
期刊: In Proceedings of the 49th International ACM SIGIR Conference on Research and Development in Information Retrieval, pp. 1731-1742. 2026
🔗 代码/项目: GITHUB
💡 一句话要点
提出RecPFN以解决序列推荐中的数据效率问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 序列推荐 上下文学习 贝叶斯推断 数据效率 合成数据 轻量级模型 零-shot学习
📋 核心要点
- 现有的推荐系统在数据稀缺和计算资源有限的情况下表现不佳，难以有效利用上下文信息进行推荐。
- RecPFN通过在合成点击流环境中进行预训练，利用贝叶斯推断的思想，能够在小样本支持集上进行有效的推荐。
- 在八个公共基准测试中，RecPFN展示了卓越的零-shot性能，并在低计算和低数据条件下与传统监督方法竞争。
📝 摘要（中文）
我们介绍了RecPFN，一种优先拟合网络，将上下文学习引入序列推荐。RecPFN完全在从广泛结构因果先验中采样的合成点击流环境中进行预训练，使其能够从小的支持集进行贝叶斯风格的推断。在推断时，轻量级的仅解码器变换器基于少量领域序列进行条件处理，并在单次前向传播中生成下一个项目的预测，无需任何权重更新。在八个公共基准测试中，RecPFN实现了最先进的零-shot性能，同时在低计算和低数据环境中与监督方法保持强竞争力。它在部署效率和对领域转移的鲁棒性方面表现优异，超越了依赖于大型真实交互语料库的强零-shot基线。RecPFN为可泛化、数据高效的推荐系统提供了实际路径，并为更丰富的先验、长上下文ICL和多模态扩展开辟了新的途径。
🔬 方法详解
问题定义：本论文旨在解决序列推荐系统在数据稀缺和计算资源有限情况下的性能问题。现有方法往往依赖于大量真实交互数据，难以在低数据环境中有效工作。
核心思路：RecPFN的核心思路是通过在合成点击流环境中进行预训练，利用结构因果先验来实现贝叶斯风格的推断，从而在小样本支持集上进行有效的推荐。
技术框架：RecPFN的整体架构包括预训练阶段和推断阶段。在预训练阶段，模型在合成数据上学习，而在推断阶段，使用轻量级的解码器变换器处理少量领域序列，生成下一个项目的预测。
关键创新：RecPFN的主要创新在于其优先拟合网络结构，能够在没有权重更新的情况下进行快速推断，显著提高了推荐系统在低数据和低计算条件下的性能。
关键设计：在设计中，RecPFN采用了轻量级的解码器变换器，并通过合成点击流数据进行预训练，确保模型能够有效利用上下文信息进行推荐。
🖼️ 关键图片
📊 实验亮点
在八个公共基准测试中，RecPFN实现了最先进的零-shot性能，超越了多个强基线，特别是在低计算和低数据条件下，显示出显著的性能提升，证明了其在实际应用中的有效性。
🎯 应用场景
RecPFN在电商、内容推荐和社交媒体等领域具有广泛的应用潜力。其高效的数据利用和强大的零-shot性能使其能够在用户交互数据稀缺的情况下，依然提供个性化的推荐服务，具有重要的实际价值和未来影响。
📄 摘要（原文）
We introduce RecPFN, a prior-fitted network that brings in-context learning to sequential recommendation. RecPFN is pretrained entirely on synthetic clickstream environments sampled from a broad structural causal prior, enabling it to amortize Bayesian-style inference from a small support set. At inference, a lightweight decoder-only transformer conditions on a handful of domain sequences and produces next-item predictions for queries in a single forward pass, without any weight updates. Across eight public benchmarks, RecPFN achives state-of-the-art zero-shot performance while remaining strongly competitive with supervised methods in low-compute and low-data regimes. It is deployment-efficient and robust to domain shift, outperforming strong zero-shot baselines that rely on large real-interaction corpora. RecPFN provides a practical path toward generalizable, data-efficient recommenders and opens avenues for richer priors, longer-context ICL, and multimodal extensions. Code for training and evaluation is publicly available at https://github.com/SAP-samples/tabular-ai-recpfn/.