Every Clause Counts: Instruction-Following Reranking by Multiplying Small, Answerable Questions

📄 arXiv: 2611.03179v1 📥 PDF

作者: S. M. Mahbub Uddin Ahmed, Abdullah Al Musaddiq

分类: cs.IR, cs.CL

发布日期: 2026-11-02

💡 一句话要点

提出DMReranker以提升指令遵循的搜索结果排序

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 信息检索 重排序模型 指令遵循 概率模型 用户意图

📋 核心要点

  1. 现有的重排序模型往往忽视用户在搜索查询中附加的指令，导致结果不符合用户期望。
  2. DMReranker通过将指令查询分解为主题和多个子句，利用小型判断模型逐一回答，综合评分以提升排序效果。
  3. 在InfoSearch基准测试中，DMReranker的宏观WISE达到了50.9，显著高于现有基线，显示出其有效性。

📝 摘要（中文）

人们在搜索查询中常附加指令，要求特定类型的文档。然而，现有的重排序模型通常只关注主题相关性，忽视了这些指令的重要性。在InfoSearch基准测试中，即使是GPT-4o作为重排序模型，其加权指令敏感性评估（WISE）平均值仅为33.5。本文提出了DMReranker（决策模型重排序器），该模型将指令查询分解为主题和简短的类型化子句。通过一个小型判断模型对每个子句进行单一问题的回答，最终将答案概率相乘得到一个综合评分。DMReranker在重排序相同的前100个候选项时，达到了50.9的宏观WISE，且保持了82.9的原始模式nDCG@10。

🔬 方法详解

问题定义：本论文旨在解决现有重排序模型在处理用户附加指令时的不足，尤其是这些指令对搜索结果的影响未被充分考虑。现有方法通常只关注主题相关性，忽略了指令的细节。

核心思路：DMReranker的核心思路是将指令查询分解为主题和多个短小的子句，通过小型判断模型对每个子句进行独立评估，最终将各个子句的回答概率相乘，形成一个综合评分。这种设计旨在更好地捕捉用户的意图。

技术框架：DMReranker的整体架构包括三个主要模块：首先是指令查询的分解模块，将查询分为主题和子句；其次是判断模型模块，针对每个子句生成回答；最后是评分模块，通过乘法将各个回答的概率整合为一个最终评分。

关键创新：DMReranker的主要创新在于其零-shot的重排序能力和对指令的细致处理，与传统方法相比，它不依赖于训练数据，而是通过结构化的查询分解和概率乘法来提升排序效果。

关键设计：在设计上，DMReranker没有进行训练，所有配置在测试前已冻结。评分过程中的关键参数包括子句的数量和判断模型的设计，确保每个子句的回答都能有效反映用户的指令。

📊 实验亮点

DMReranker在InfoSearch基准测试中表现出色，达到了50.9的宏观WISE，相较于现有基线有显著提升。同时，其原始模式nDCG@10保持在82.9，显示出良好的排序性能。尽管在严格指令遵循比率（SICR）上略逊于GPT-4o，但在处理复杂指令时表现出更高的灵活性。

🎯 应用场景

该研究的潜在应用领域包括搜索引擎优化、智能助手和信息检索系统，能够帮助用户更准确地找到符合特定要求的文档。通过提升指令遵循的搜索结果排序，DMReranker有望在实际应用中显著改善用户体验，未来可能影响信息检索领域的标准实践。

📄 摘要（原文）

People often attach instructions to their search queries, asking for pages written for beginners, documents in a certain language or official sources only. Most rerankers were trained to judge topical relevance and treat such instructions as a few extra words. On the InfoSearch benchmark, even GPT-4o used as a list-wise reranker reaches an average WISE (Weighted Instruction Sensitivity Evaluation) of only 33.5. We present DMReranker (Decision-Model Reranker), a zero-shot reranker that splits an instructed query into a topic and a short list of typed clauses. A small judge model answers one narrow question per clause, and the answer probabilities are multiplied into a single score. Nothing is trained, and the configuration was frozen before the test runs. Reranking the same top-100 candidates as the published baselines, DMReranker reaches a macro WISE of 50.9 over all six InfoSearch dimensions while keeping original-mode nDCG@10 at 82.9. It trails GPT-4o on the stricter SICR (Strict Instruction Compliance Ratio) metric, 19.2 against 32.1. We show that this gap follows from how a product of probabilities behaves when SICR compares raw scores across runs. Computed from ranks, our SICR is 67.0. On the same judge, splitting the instruction raises WISE from 32.9 to 47.6 over a single combined question, while raw-score SICR falls. Scoring all six dimensions cost about $10 at list price.