Ask the Right Comparison:Bias-Aware Bayesian Active Top-$k$ Ranking with LLM Judges
作者: Jian Xu, Delu Zeng, John Paisley, Qibin Zhao
分类: cs.LG
发布日期: 2026-07-05
💡 一句话要点
提出偏见感知的贝叶斯主动Top-k排名方法以解决LLM评判偏差问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 贝叶斯推断 主动学习 排名算法 偏见感知
📋 核心要点
- 现有方法在使用LLM进行排名时，容易受到评判者的偏见影响，导致结果不准确。
- 本文通过贝叶斯推断结合评判者特定偏见因素，提出了一种新的主动Top-k排名方法。
- 实验显示，传统方法在偏见评判者中效果不佳，而新方法显著提高了召回率，且比较次数减少。
📝 摘要（中文）
随着大型语言模型（LLMs）作为廉价且可扩展的评判工具被广泛应用于候选输出的对比、排名和筛选，然而这些模型的评判结果存在噪声和系统性偏差。本文提出了一种基于贝叶斯推断的主动Top-k排名方法，考虑了评判者特定的偏见因素（如冗长性和位置），并通过收缩先验进行正则化。我们还引入了一种Top-k感知的主动获取规则，以最大限度地减少对Top-k成员资格的不确定性。实验结果表明，传统的简单聚合方法在偏见评判者中表现不佳，而我们的模型能够有效恢复真实的Top-k排名，且所需比较次数显著减少。
🔬 方法详解
问题定义：本文旨在解决在有限比较预算下，如何准确识别Top-k项目的问题。现有方法在面对偏见评判者时，简单聚合投票无法反映真实质量，导致排名失真。
核心思路：论文将评判视为对潜在质量的贝叶斯推断，明确考虑评判者的偏见因素，并通过收缩先验来决定每个评判者的实际偏见表现。
技术框架：整体方法包括两个主要模块：首先是偏见感知的贝叶斯推断模块，利用评判者的特定偏见因素进行质量评估；其次是Top-k感知的主动获取规则模块，选择能够最大化减少Top-k成员资格不确定性的比较。
关键创新：最重要的创新在于引入了评判者特定的偏见因素，并通过贝叶斯方法进行建模，这与传统的简单聚合方法有本质区别，后者未能考虑评判者的偏见。
关键设计：模型设计中使用了收缩先验来正则化偏见因素，确保数据能够决定每个评判者的偏见表现。此外，主动获取规则的设计使得比较选择更加高效，显著减少了所需的比较次数。
🖼️ 关键图片
📊 实验亮点
实验结果表明，传统的简单聚合方法在偏见评判者中表现不佳，无法准确恢复Top-k排名，而我们的偏见感知模型能够有效恢复真实的Top-k，召回率从约0.5-0.6提升至0.84-1.0，且所需比较次数显著减少，优于轮盘选择和全局不确定性规则。
🎯 应用场景
该研究的潜在应用领域包括模型选择、内容评审和自动化决策系统等。通过提高评判的准确性和效率，能够在实际应用中显著提升决策质量，降低人工干预的需求，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Large language models (LLMs) are increasingly used as cheap, scalable judges that compare candidate outputs pairwise -- to rank responses, select models, or triage papers. Yet LLM judges are both noisy and systematically biased: they favor verbose or well-formatted answers and exhibit position effects, so simply aggregating their votes recovers a ranking of presentation, not of true quality. We study the practical goal of identifying the \topk{} items under a fixed comparison budget, and make two contributions. First, we cast judging as Bayesian inference over latent quality with explicit, judge-specific bias covariates (verbosity, position), regularized by a shrinkage prior so that the data decide which biases a given judge actually exhibits. Second, we introduce a \topk-aware active acquisition rule that chooses the next comparison to maximally reduce uncertainty about \topk{} \emph{membership}, rather than about the full ranking. On a controlled benchmark with known ground-truth quality, judged by sixteen real LLMs spanning open and proprietary families (Llama, Qwen, Phi-4, GPT-4o-mini/5.1/5.5, Gemini, DeepSeek, and Claude Haiku/Sonnet/Opus), naive aggregation plateaus at a wrong \topk{} on biased judges regardless of budget, while our bias-aware model recovers it; \topk-aware acquisition reaches this ceiling with far fewer comparisons than round-robin or a global-uncertainty (D-optimal) rule. Bias is real but heterogeneous and capability-dependent: cheap and mid-tier judges carry a strong verbosity bias that our model corrects (lifting recall from $\sim$$0.5$--$0.6$ to $0.84$--$1.0$), whereas the frontier judges we tested show little bias and already rank accurately, so bias-aware modeling changes little there.