DecisionRank: On-Policy Distillation for Decision-Model Rerankers

📄 arXiv: 2610.42128v1 📥 PDF

作者: Yanran Wu, Dian Yu, Chongyang Bai, Jieyi Zhang, Rui Liu, Tianyi Chen, Shike Mei, Hang Cui, Frank Shyu, Sandeep Pandey, Luke Simon, Chunwei Liu, Xi Liu

分类: cs.CL

发布日期: 2026-10-30

备注: 25 pages, 8 figures

💡 一句话要点

提出DecisionRank以解决决策模型知识迁移问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 决策模型 知识迁移 在线蒸馏 信息检索 生成式模型 性能优化 快速响应

📋 核心要点

  1. 现有方法在将生成式大语言模型的排名知识迁移到决策模型时面临挑战，主要体现在教师与学生之间的反馈机制不匹配。
  2. 本文提出的DecisionRank通过项目空间在线蒸馏（OPD）来解决这一问题，构建学生的回滚并利用生成式教师提供条件反馈。
  3. 实验结果表明，DecisionRank在多个基准上表现优异，尤其在参数较少的情况下仍能超越更大模型的性能。

📝 摘要（中文）

决策模型通过直接预测选择或分数来处理结构化任务，避免了自回归解码的延迟。然而，将生成式大语言模型的排名知识迁移到决策模型中仍然具有挑战性：教师通过排名的文档ID序列表达偏好，而学生则通过第一标记位置的分数来确定排名。为了解决这一问题，本文提出了DecisionRank，一种通过项目空间在线蒸馏（OPD）训练的决策模型。项目空间OPD通过将文档分数排序构建学生的回滚，生成式教师将结果排名列表作为输入，提供条件反馈以直接监督这些分数。结合离线排名监督，DecisionRank在TREC DL、BEIR和BRIGHT等一般和推理密集型检索基准上实现了最先进的性能。在四个基准上，项目空间OPD始终优于其他训练目标。即使在17亿参数下，DecisionRank也超越了其270亿生成教师在TREC DL19-23上的表现。在80亿参数下，其性能超过了生成式列表方法，同时在TREC DL上运行速度快24.5倍，在BRIGHT上快16.7倍。

🔬 方法详解

问题定义：本文旨在解决生成式大语言模型的排名知识如何有效迁移到决策模型的问题。现有方法在教师与学生之间的反馈机制上存在不匹配，导致知识转移困难。

核心思路：论文提出的核心思路是通过项目空间在线蒸馏（OPD）来构建学生的回滚，将文档分数排序为排名序列，并利用生成式教师对该排名提供条件反馈，从而实现有效的知识迁移。

技术框架：整体架构包括两个主要模块：首先是学生模型，通过排序文档分数生成回滚；其次是生成式教师模型，接收排名列表并提供监督反馈。整个流程通过离线排名监督进一步提升性能。

关键创新：最重要的技术创新在于项目空间OPD的引入，使得学生模型能够在不依赖自回归解码的情况下，直接从教师模型获取排名知识，显著提高了训练效率和效果。

关键设计：在设计上，模型参数设置为17亿和80亿，损失函数结合了在线蒸馏和离线监督，确保了模型在不同规模下的有效性。

📊 实验亮点

实验结果显示，DecisionRank在多个基准上表现优异，尤其在TREC DL19-23上，即使在17亿参数下也超越了270亿参数的生成教师。此外，在80亿参数下，其速度在TREC DL上快24.5倍，在BRIGHT上快16.7倍，展现了显著的效率提升。

🎯 应用场景

该研究的潜在应用领域包括信息检索、推荐系统和自然语言处理等。通过提高决策模型的性能，DecisionRank能够在实际应用中提供更快速和准确的结果，具有重要的商业价值和社会影响。

📄 摘要（原文）

Decision models target structured tasks by directly predicting choices or scores, avoiding autoregressive decoding latency. However, transferring a generative LLM's ranking knowledge to a decision model remains challenging: the teacher expresses preferences through a ranked list of document ID sequences, while the student determines the ranking using scores from the first-token position. To bridge this gap, we introduce DecisionRank, a decision model trained through item-space on-policy distillation (OPD). Item-space OPD constructs the student's rollout by sorting its document scores into a ranked sequence. A generative teacher takes the resulting ranking list as inputs and provides conditional feedback to directly supervise those scores. Combined with offline ranking supervision, DecisionRank achieves state-of-the-art performance on both general and reasoning-intensive retrieval benchmarks such as TREC DL, BEIR, and BRIGHT. Across four benchmarks, item-space OPD consistently outperforms alternative training objectives. Even at 1.7B parameters, DecisionRank surpasses its 27B generative teacher on TREC DL19--23. At 8B, it outperforms its generative listwise counterpart while running $24.5\times$ faster on TREC DL and $16.7\times$ faster on BRIGHT.