Pairwise Ranking Outperforms Single-Action RL for Offline Explanation Selection: A Practical Lesson

📄 arXiv: 2608.18531v1 📥 PDF

作者: Tanay Chowdhury, Saeideh Shahrokh Esfahani

分类: cs.AI, cs.LG

发布日期: 2026-08-19

备注: This is an extended version of a 3-page paper accepted to the RecSys 2026 Research and Practice Notes track

💡 一句话要点

提出基于成对排序的离线解释选择方法以降低LLM成本

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 可解释推荐系统 大型语言模型 成对学习排序 离线选择 工业应用

📋 核心要点

  1. 现有的基于LLM的推荐系统在每次请求时都需要生成解释，导致高延迟和成本问题。
  2. 本文提出将解释生成与选择分离，提前生成候选池，并使用CPU选择器在请求时快速选择解释。
  3. 实验结果表明，成对学习排序方法在多个数据集上表现优于单动作强化学习，且选择器的稳定性高。

📝 摘要（中文）

工业可解释推荐系统基于大型语言模型（LLM），每个请求都需要生成，导致高延迟和成本。本文提出将生成与选择分离，提前生成候选解释池，并在请求时通过小型CPU选择器进行选择。通过对比多种选择器，发现成对学习排序方法在性能上优于单动作强化学习，且在不使用GPU的情况下，能够在100毫秒内返回结果。实验结果显示，LambdaRank在Google Local数据集上达到了F1=0.500，超越了现有基准，且KG-path选择器在路径基础上实现了高准确率。

🔬 方法详解

问题定义：本文旨在解决基于LLM的推荐系统在请求时生成解释所带来的高延迟和成本问题。现有方法依赖于实时生成，导致资源浪费和响应时间延长。

核心思路：论文提出将解释生成与选择分离，提前生成一个固定的候选池，并在请求时通过轻量级的CPU选择器进行选择。这种设计减少了对GPU的依赖，并提高了响应速度。

技术框架：整体架构包括两个主要模块：首先是生成模块，使用六种提示风格和两种商品LLM生成候选解释；其次是选择模块，使用多种选择算法（如LambdaRank、PPO等）在请求时快速选择最佳解释。

关键创新：最重要的创新在于采用成对学习排序方法，显著提升了选择性能，相较于传统的单动作强化学习方法，能够有效利用多个标签信息。

关键设计：在实验中，使用BERTScore-F1作为评估标准，确保不同选择器的公平比较。LambdaRank的F1得分达到0.500，且在不同种子下的方差低于0.003，显示出其稳定性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，LambdaRank在Google Local数据集上达到了F1=0.500，超越了G-Refer和XRec，同时在MovieLens-1M数据集上也取得了F1=0.329的成绩。KG-path选择器在Google Local和MovieLens-1M上均实现了接近完美的USR，显示出其在路径基础上的独特优势。

🎯 应用场景

该研究的潜在应用领域包括工业推荐系统、在线广告和个性化内容推荐等。通过降低LLM的运行成本和提高响应速度，能够为企业提供更高效的服务，提升用户体验。未来，该方法还可以扩展到其他需要实时解释生成的领域，如医疗诊断和金融决策支持。

📄 摘要（原文）

Industrial explainable-recommendation systems built on LLMs incur a substantial serving cost: each request triggers an LLM generation, with latency in the hundreds of milliseconds and cost that scales linearly with traffic. We separate generation from selection: explanations are produced ahead of time as a frozen candidate pool (six prompt styles, two commodity LLMs), and a small CPU-resident selector picks one at request time. The stack needs no GPU and returns in under 100 ms. Our primary benchmark is a 2,958-pair XRec Google Local subset, evaluating six offline-pool selectors (LambdaRank, PPO, GRPO, DPO, teacher-student distillation) and three KG-path selectors (random walks, edge-disjoint enumeration, MMR-reranked paths). A 300-pair MovieLens-1M split with Claude-Sonnet-4.5 references serves as an internal cross-dataset check, since no public benchmark exists for this setting. All variants use the same BERTScore-F1 protocol as XRec and G-Refer, averaged across five seeds. LambdaRank reaches F1 = 0.500 on Google Local, exceeding both G-Refer and XRec, and F1 = 0.329 on the MovieLens-1M check. With seed variance below 0.003 F1, the ordering is reliable: pairwise learning-to-rank outperforms single-action RL (PPO, GRPO, DPO), which use only one labelled candidate per rollout, leaving K-1 labels unused. The KG-path family targets a different objective: all three variants reach USR = 1.000 on Google Local and 0.997-1.000 on MovieLens-1M, since per-request path grounding yields a unique output per query, avoiding template-collapse failures affecting cached-LLM outputs. A generator-pool study comparing Claude 3 Haiku and Claude Haiku 4.5 shows small F1 shifts (0.001-0.006) while preserving selector ranking: selector and generator can be evaluated independently, though absolute F1 depends on the generator. End-to-end build cost is near $15 on commodity hardware.