Progressive Alignment of Recommender Foundation Model through Multi-Phase Post-Training
作者: Oseong Choi, Hoeinn Kim, Jihoon Lee, Byungsoo Kang, Taeyeong Jang
分类: cs.IR, cs.AI
发布日期: 2026-08-07
备注: 9 pages, 3 figures. Accepted to the 20th ACM Conference on Recommender Systems (RecSys '26), Industry Track
🔗 代码/项目: GITHUB
💡 一句话要点
提出三阶段渐进式后训练框架以优化推荐系统
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 推荐系统 基础模型 后训练 强化学习 商业指标对齐
📋 核心要点
- 现有推荐系统方法在优化特定任务目标时，未能有效对齐商业指标，导致推荐质量不足。
- 本文提出三阶段渐进式后训练框架，分为线性探测、全微调和强化微调，旨在优化推荐策略与商业目标的对齐。
- 实验结果显示，所提框架在离线和在线测试中均显著提升推荐质量，优于传统方法。
📝 摘要（中文）
基础模型（FM）在推荐系统中展现了强大的长时间序列用户行为建模能力。现有方法通过监督微调（SFT）将单一预训练模型适应于多样的下游任务，但优化特定任务目标（如点击或点赞）并不一定能与决定推荐质量的商业指标对齐。本文提出了一种三阶段渐进式后训练框架，明确将下游适应与商业指标对齐分开。适应阶段分为线性探测（LP）和全微调（FFT），LP首先在冻结的预训练表示空间中稳定随机初始化的下游头，随后FFT联合专门化整个模型以适应目标任务。在此稳定的策略基础上，强化微调（RFT）使用学习的奖励模型将模型与实际商业目标对齐。离线实验表明，渐进式LP-FFT-RFT框架优于单阶段替代方案，基于奖励的对齐策略比直接使用奖励模型进行排名更有效。大规模在线A/B测试进一步显示，该框架在生产推荐质量上优于传统非基础模型基线。
🔬 方法详解
问题定义：本文旨在解决现有推荐系统在优化任务特定目标时未能有效对齐商业指标的问题，导致推荐质量不理想。
核心思路：提出三阶段渐进式后训练框架，通过将下游适应与商业指标对齐分开，优化推荐策略。首先通过线性探测稳定模型，然后进行全微调，最后通过强化微调对齐商业目标。
技术框架：整体框架分为三个主要阶段：线性探测（LP）用于稳定下游头，接着全微调（FFT）联合专门化模型，最后强化微调（RFT）使用奖励模型对齐商业目标。
关键创新：最重要的创新在于将适应与对齐过程分开，使用密集隐式反馈进行策略训练，而非直接优化稀疏商业目标。
关键设计：在设计中，线性探测阶段使用冻结的预训练表示，确保下游头的稳定性；全微调阶段则联合优化整个模型；强化微调阶段则依赖于学习的奖励模型进行商业目标对齐。
🖼️ 关键图片
📊 实验亮点
实验结果表明，渐进式LP-FFT-RFT框架在离线测试中优于单阶段替代方案，且在在线A/B测试中，推荐质量较传统非基础模型基线提升显著，具体性能数据未提供，但提升幅度明显。
🎯 应用场景
该研究的潜在应用领域包括电商推荐、内容推荐和社交媒体平台等，能够显著提升用户体验和商业转化率。通过优化推荐策略与商业目标的对齐，未来可能推动更智能的个性化推荐系统的发展。
📄 摘要（原文）
Foundation model(FM) for recommendation has shown strong ability to model long-horizon sequential user behavior. In practice, a single pretrained foundation model is often adapted to diverse downstream serving surfaces through Supervised Fine-Tuning(SFT). However, optimizing task-specific objectives such as clicks or likes does not necessarily align the serving policy with the business metrics that determine recommendation quality. We propose a three-phase progressive post-training framework that explicitly separates downstream adaptation from business-metric alignment. The adaptation stage is decomposed into Linear Probing(LP) and Full Fine-Tuning(FFT): LP first stabilizes randomly initialized downstream heads within a frozen pretrained representation space, and FFT then jointly specializes the full model for the target task. On top of this stabilized policy, Reinforcement Fine-Tuning(RFT) aligns the model with practical business objectives using a learned reward model. Rather than directly optimizing the serving policy on sparse business targets, we train the policy on dense implicit feedback and use business-metric supervision only for reward modeling. Offline experiments show that the progressive LP-FFT-RFT framework outperforms single-phase alternatives, and that reward-based alignment yields a stronger serving policy than directly using the reward model itself for ranking. Large-scale online A/B tests further show that the proposed framework improves production recommendation quality over a conventional non-foundation baseline. A reference implementation is available at https://github.com/webtoon/rec-fm-progressive-alignment