Ask the Right Comparison:Bias-Aware Bayesian Active Top-$k$ Ranking with LLM Judges
作者: Jian Xu, Delu Zeng, John Paisley, Qibin Zhao
分类: cs.LG
发布日期: 2026-07-02
💡 一句话要点
提出偏见感知的贝叶斯主动Top-k排序方法以解决LLM评判偏差问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 贝叶斯推断 主动学习 偏见感知 Top-k排序 模型评估 数据驱动
📋 核心要点
- 现有方法在使用LLM进行排序时，容易受到评判者偏见的影响，导致结果不准确。
- 本文通过贝叶斯推断引入评判者特定的偏见协变量，提出了一种新的主动获取规则以优化比较过程。
- 实验结果显示，偏见感知模型在Top-k识别上显著提升了准确率，尤其在低成本和中等水平的评判者中效果显著。
📝 摘要（中文）
随着大型语言模型（LLMs）作为廉价且可扩展的评判工具被广泛应用于候选输出的对比、响应排名、模型选择及论文筛选等任务，然而LLM评判存在噪声和系统性偏见的问题。本文的研究目标是识别在固定比较预算下的Top-k项目，提出了两项重要贡献：首先，将评判视为对潜在质量的贝叶斯推断，并引入评判者特定的偏见协变量；其次，提出了一种Top-k感知的主动获取规则，以最大限度地减少对Top-k成员资格的不确定性。实验结果表明，偏见感知模型在多个真实LLM的评判下显著提高了Top-k识别的准确性。
🔬 方法详解
问题定义：本文旨在解决在使用大型语言模型进行输出排序时，由于评判者的偏见导致的结果不准确的问题。现有方法简单聚合评判结果，无法有效识别真实质量的Top-k项目。
核心思路：通过将评判视为贝叶斯推断，结合评判者特定的偏见协变量（如冗长性和位置），并使用收缩先验来调整模型，使得数据能够决定评判者的实际偏见。
技术框架：整体框架包括两个主要模块：首先是偏见感知的贝叶斯推断模块，其次是Top-k感知的主动获取模块，后者选择下一次比较以最大限度减少对Top-k成员资格的不确定性。
关键创新：最重要的创新在于引入了评判者特定的偏见协变量，并通过贝叶斯推断来动态调整模型，从而有效纠正评判者的偏见。与传统方法相比，本文的方法能够更准确地识别Top-k项目。
关键设计：在模型设计中，采用了收缩先验来正则化偏见协变量，同时在主动获取规则中，优化了比较选择策略，以减少对Top-k成员资格的不确定性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，偏见感知模型在处理偏见评判者时，Top-k识别的召回率从约0.5-0.6提升至0.84-1.0，且在相同预算下，所需比较次数显著少于传统的轮询或全局不确定性（D-最优）规则。
🎯 应用场景
该研究的潜在应用领域包括自动化内容评估、模型选择、以及学术论文的筛选等。通过提高评判的准确性，可以在多个领域中提升决策质量，尤其是在需要大量评判的场景中，具有显著的实际价值和影响力。
📄 摘要（原文）
Large language models (LLMs) are increasingly used as cheap, scalable judges that compare candidate outputs pairwise -- to rank responses, select models, or triage papers. Yet LLM judges are both noisy and systematically biased: they favor verbose or well-formatted answers and exhibit position effects, so simply aggregating their votes recovers a ranking of presentation, not of true quality. We study the practical goal of identifying the \topk{} items under a fixed comparison budget, and make two contributions. First, we cast judging as Bayesian inference over latent quality with explicit, judge-specific bias covariates (verbosity, position), regularized by a shrinkage prior so that the data decide which biases a given judge actually exhibits. Second, we introduce a \topk-aware active acquisition rule that chooses the next comparison to maximally reduce uncertainty about \topk{} \emph{membership}, rather than about the full ranking. On a controlled benchmark with known ground-truth quality, judged by sixteen real LLMs spanning open and proprietary families (Llama, Qwen, Phi-4, GPT-4o-mini/5.1/5.5, Gemini, DeepSeek, and Claude Haiku/Sonnet/Opus), naive aggregation plateaus at a wrong \topk{} on biased judges regardless of budget, while our bias-aware model recovers it; \topk-aware acquisition reaches this ceiling with far fewer comparisons than round-robin or a global-uncertainty (D-optimal) rule. Bias is real but heterogeneous and capability-dependent: cheap and mid-tier judges carry a strong verbosity bias that our model corrects (lifting recall from $\sim$$0.5$--$0.6$ to $0.84$--$1.0$), whereas the frontier judges we tested show little bias and already rank accurately, so bias-aware modeling changes little there.