GR2 Technical Report
作者: Yufei Li, Zaiwei Zhang, Mingfu Liang, Kavosh Asadi, Jay Xu, Jimmy Kim, Chongyang Bai, Jieyi Zhang, Hongye Xie, Prachi Agrawal, Dian Yu, Tianyi Chen, Jean-Pascal Billaud, Garret Buell, YK, Zhu, Sachin Patil, Brooke Bian, Zhou Fang, Kevin Huang, Shiva Sudanagunta, Yuzhen Huang, Emma Lu, Chris O'Brien, Yang Song, Lihong Li, Jacob Tao, Zhicheng Zhu, Chao Li, Gaoxiang Liu, Neil Wu, Zhongyin Hu, Li Han, Loki Chen, Ming Lei, Greg Rehm, Siyuan Song, Tianwei Zhang, Li Li, Ketan Singh, Yavuz Yetim, Ilyas Atishev, Satendra Gera, Ashkan Sadeghi, Rachel Yan, Nikko Mizutani, Shuaiwen Wang, Song Yang, Zhijing Li, Jiang Liu, Mengying Sun, Fei Tian, Xiaohan Wei, Chonglin Sun, Parish Aggarwal, Kaushik Rangadurai, Zhi Hua, Frank Shyu, Ruchit Sharma, Liyuan Li, Shike Mei, Wenlin Chen, Santanu Kolay, Ben Schulte, Deepak Chandra, Adam, Song, Sandeep Pandey, Xi Liu, Hamed Firooz, Luke Simon
分类: cs.IR, cs.AI
发布日期: 2026-06-30
备注: 18 pages, 10 figures
💡 一句话要点
提出GR2框架以提升工业推荐系统的重排序性能
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 推荐系统 重排序 强化学习 大型语言模型 语义ID 推理蒸馏 工业应用
📋 核心要点
- 现有推荐系统在重排序阶段的研究相对不足，导致用户体验和参与度未能得到有效提升。
- GR2框架通过结合语义ID中期训练、推理轨迹提炼和强化学习，针对重排序问题提供了一种创新解决方案。
- 实验结果表明，GR2在工业规模流量上显著提升了重排序性能，验证了奖励设计在重排序中的重要性。
📝 摘要（中文）
工业推荐系统通过多阶段漏斗服务数十亿用户，包括检索、早期排名和重排序，其中重排序阶段对用户参与度和下游性能影响显著。尽管对大型语言模型（LLMs）在推荐中的应用热情高涨，但仍存在三大障碍：重排序阶段研究不足、LLMs通常采用零-shot或监督微调，未充分利用强化学习（RL）的推理能力、以及现有目录使用非语义标识符。本文提出GR2（生成推理重排序器），一个端到端框架，结合了基于语义ID的中期训练、通过目标提示和拒绝采样提炼的推理轨迹，以及专为重排序设计的RL和可验证奖励。此外，GR2引入了上下文压缩器和On-Policy Distillation（OPD），以降低训练成本。实验结果显示，GR2在工业规模流量上相比传统基线提升了+18.7% R@1、+7.1% R@3和+9.6% N@3。
🔬 方法详解
问题定义：本文旨在解决工业推荐系统中重排序阶段的不足，现有方法多集中于检索和早期排名，导致重排序对用户体验的影响未被充分研究。
核心思路：GR2框架通过引入语义ID的中期训练、推理轨迹的提炼以及强化学习，旨在提升重排序的效果，充分利用LLMs的推理能力。
技术框架：GR2的整体架构包括三个主要模块：基于语义ID的中期训练、推理轨迹的提炼和强化学习重排序。上下文压缩器和On-Policy Distillation（OPD）用于降低训练成本。
关键创新：GR2的核心创新在于结合了强化学习和可验证奖励，特别是针对重排序阶段的设计，使得模型能够更好地适应工业应用场景。
关键设计：在模型训练中，采用了高达99%的唯一性语义ID，设计了针对重排序的奖励机制，并使用了低延迟服务的推理蒸馏技术。实验中还发现奖励设计对重排序效果至关重要。
🖼️ 关键图片
📊 实验亮点
GR2在工业规模流量上实现了显著的性能提升，具体表现为R@1提升18.7%、R@3提升7.1%和N@3提升9.6%。这些结果表明，重排序阶段的优化对整体推荐系统的效果具有重要影响，尤其是在奖励设计方面的创新。
🎯 应用场景
GR2框架具有广泛的应用潜力，特别是在电商、内容推荐和社交媒体等领域。通过提升重排序性能，GR2能够显著改善用户体验和参与度，进而推动商业转化率的提升。未来，GR2的设计理念和技术框架也可能为其他推荐系统提供参考和借鉴。
📄 摘要（原文）
Industrial recommendation systems serve billions of users through a multi-stage funnel -- retrieval, early-stage ranking, and re-ranking -- where the final re-ranking step disproportionately shapes user engagement and downstream performance, particularly for carousel and grid display formats. Despite growing enthusiasm for Large Language Models (LLMs) in recommendation, three gaps hinder industrial adoption: (1) most efforts target retrieval and ranking, leaving re-ranking -- the stage closest to the final user experience -- largely underexplored; (2) LLMs are typically deployed zero-shot or via supervised fine-tuning, underutilizing the reasoning capabilities unlocked by reinforcement learning (RL) on verifiable rewards; (3) deployed catalogs index billions of items with non-semantic identifiers that lie outside any base-LLM vocabulary. We present GR2 (Generative Reasoning Re-Ranker), an end-to-end framework that combines (i) mid-training on semantic IDs produced by a tokenizer with >=99% uniqueness, (ii) reasoning-trace distilled from a stronger teacher via targeted prompting and rejection sampling, and (iii) RL with verifiable rewards purpose-built for re-ranking. To make GR2 resource-viable, we further (iv) introduce a context compressor that amortizes training cost, On-Policy Distillation (OPD) as a scalable alternative to SFT -- which we find collapses at industrial scale -- and reasoning distillation for low-latency serving. GR2 delivers +18.7% R@1, +7.1% R@3, and +9.6% N@3 over legacy baselines on industrial-scale traffic. We further find that reward design is critical in re-ranking: LLMs often hack rewards by preserving the incoming order or exploiting position bias, motivating conditional verifiable rewards as essential industrial components.