From Uncertain Judgments to Calibrated Rankings: Conformal Elo Estimation for LLM Evaluation

📄 arXiv: 2606.13221v2 📥 PDF

作者: Bora Kargi, David Salinas

分类: cs.LG

发布日期: 2026-06-11 (更新: 2026-06-12)

🔗 代码/项目: GITHUB

💡 一句话要点

提出一种新方法以解决LLM评估中的系统性偏差问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 Elo评分 评估方法 系统性偏差 机器学习 保形预测 不确定性量化

📋 核心要点

  1. 现有的LLM评估方法依赖于昂贵的人类注释，且评审分数存在系统性误差，导致排名失真。
  2. 论文提出通过传播校准的胜率来改进Elo评分估计，并结合分裂保形预测处理LLM与人类评分的差异。
  3. 实验结果表明，使用该方法的Elo评分与人类评分的平均绝对误差降低至17.9，显著提升了评估的准确性。

📝 摘要（中文）

评估新的大型语言模型通常需要大规模的人类注释，这一过程成本高昂。论文提出了LLM作为评审者的替代方案，但评审分数存在系统性误差，如位置偏差和自我偏好，可能导致排名严重失真。本文在局部和全局两个层面量化了评审与人类之间的分歧。局部层面通过传播经过校准的胜率来估计每场对战的不确定性，显著提高了Elo估计的准确性。全局层面则应用分裂的保形预测来处理LLM与人类Elo评分之间的残差差距，提供了具有覆盖保证的预测区间。最终，这种方法为开发者提供了低成本的Elo估计和不确定性边界，且无需大规模人类注释。

🔬 方法详解

问题定义：本文旨在解决大型语言模型（LLM）评估中由于系统性偏差导致的评分失真问题。现有方法依赖人类注释，成本高且效率低下，同时评审者的评分存在位置偏差、自我偏好等系统性误差。

核心思路：论文提出了一种新方法，通过传播校准的胜率而非硬标签来估计每场对战的不确定性，从而改进Elo评分的准确性。此外，利用分裂保形预测处理LLM与人类评分之间的差异，提供可靠的预测区间。

技术框架：整体方法分为两个主要模块：局部模块通过校准胜率估计每场对战的不确定性，全球模块则应用分裂保形预测来处理评分差异。两个模块结合，形成一个低成本的评估工具。

关键创新：最重要的创新在于将校准的胜率传播引入Elo评分估计中，显著提高了评分的准确性，并通过分裂保形预测提供了具有覆盖保证的预测区间。与传统方法相比，这种方法更能反映LLM与人类评分之间的真实差异。

关键设计：在参数设置上，采用了经过校准的胜率来替代硬标签，损失函数设计上关注于减少LLM与人类评分之间的残差差距，确保模型能够有效捕捉评分的不确定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用该方法后，LLM生成的Elo评分与人类评分之间的平均绝对误差降低至17.9，显著优于传统方法。这一改进为模型评估提供了更为可靠的依据，且无需依赖大规模的人类注释。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的评估、机器学习模型的性能比较以及其他需要高效评估的场景。通过提供低成本且准确的评估工具，开发者可以更好地理解模型的表现，推动模型的优化与迭代。未来，该方法可能在更广泛的机器学习领域中得到应用，提升模型评估的效率与准确性。

📄 摘要（原文）

Evaluating new large language models typically requires costly human annotation campaigns at scale. LLM-as-a-judge offers a cheaper alternative, but judge scores carry systematic errors - such as position bias, self-preference, or intransitivity - that can strongly miscalibrate the resulting rankings. We quantify the resulting judge-human disagreement at two complementary levels. At the local level, we estimate per-battle uncertainty from the judge's own score differences by propagating calibrated win probabilities rather than hard labels into the Bradley-Terry procedure. This alone provides a drastic improvement to Elo estimation accuracy, bringing LLM-derived ratings within 17.9 Elo MAE of human-derived ones when averaged over 55 held-out models on LMArena. At the global level, we apply split conformal prediction to the residual gap between LLM-derived and human-derived Elo ratings across held-out models, producing prediction intervals with distribution-free marginal coverage guarantees that account for irreducible LLM-human disagreement. Together, these two layers yield a low-cost evaluation tool that provides developers with calibrated Elo estimates and honest uncertainty bounds, without access to large-scale human annotations. To facilitate reproducibility, we release our code at https://github.com/kargibora/SoftElo .