From Uncertain Judgments to Calibrated Rankings: Conformal Elo Estimation for LLM Evaluation

📄 arXiv: 2606.13221 📥 PDF

作者: Bora Kargi, David Salinas

分类: cs.LG

发布日期: 2026-06-12

💡 一句话要点

提出符合性Elo估计以解决LLM评估中的系统性误差问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 Elo估计 系统性误差 符合性预测 评估工具

📋 核心要点

  1. 现有的LLM评估方法依赖于昂贵的人类标注，且LLM作为评估者时存在系统性误差，影响排名的准确性。
  2. 论文提出通过传播校准的胜率来替代硬标签，从而在局部层面提高Elo估计的准确性，并在全局层面应用分裂符合性预测。
  3. 实验结果显示，LLM-derived评分与人类评分之间的平均绝对误差降低至17.9 Elo，显著提升了评估的可靠性和有效性。

📝 摘要（中文）

评估新大型语言模型通常需要大规模的人类标注，这一过程成本高昂。论文提出LLM作为评估者的替代方案，但评估分数存在系统性误差，如位置偏差和自我偏好，可能导致排名严重失真。本文在局部和全局两个层面量化评估者与人类之间的分歧，通过传播经过校准的胜率而非硬标签，显著提高了Elo估计的准确性，并在55个保留模型上实现了LLM-derived评分与人类评分之间的平均绝对误差降低至17.9 Elo。通过分裂符合性预测，本文还为LLM-derived与人类评分之间的残差差距提供了无分布假设的预测区间，确保了评估的可靠性。最终，研究提供了一种低成本的评估工具，能够为开发者提供经过校准的Elo估计和诚实的不确定性边界。

🔬 方法详解

问题定义：本文旨在解决大型语言模型（LLM）评估中的系统性误差问题，现有方法依赖人类标注成本高且存在偏差，导致排名失真。

核心思路：通过传播经过校准的胜率而非硬标签，来改进Elo估计的准确性，同时利用分裂符合性预测来处理LLM与人类评分之间的残差差距，确保评估结果的可靠性。

技术框架：整体方法分为两个主要模块：局部层面通过校准胜率改进Elo估计，全局层面通过分裂符合性预测生成无分布假设的预测区间。

关键创新：最重要的创新在于将校准的胜率引入到Bradley-Terry程序中，从而显著提高了Elo估计的准确性，并提供了对不确定性的诚实评估。

关键设计：在参数设置上，采用了经过校准的胜率来替代传统的硬标签，损失函数设计上关注于减少LLM与人类评分之间的差距，确保模型在不同场景下的鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，采用本文方法后，LLM-derived评分与人类评分之间的平均绝对误差降低至17.9 Elo，相较于传统方法有显著提升。这一结果展示了通过校准胜率和分裂符合性预测的结合，能够有效提高评估的准确性和可靠性。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的评估、机器学习模型的性能比较以及自动化评估工具的开发。通过提供低成本且可靠的评估方法，能够帮助开发者更有效地优化模型性能，推动自然语言处理领域的进步。

📄 摘要（原文）

Evaluating new large language models typically requires costly human annotation campaigns at scale. LLM-as-a-judge offers a cheaper alternative, but judge scores carry systematic errors - such as position bias, self-preference, or intransitivity - that can strongly miscalibrate the resulting rankings. We quantify the resulting judge-human disagreement at two complementary levels. At the local level, we estimate per-battle uncertainty from the judge's own score differences by propagating calibrated win probabilities rather than hard labels into the Bradley-Terry procedure. This alone provides a drastic improvement to Elo estimation accuracy, bringing LLM-derived ratings within 17.9 Elo MAE of human-derived ones when averaged over 55 held-out models on LMArena. At the global level, we apply split conformal prediction to the residual gap between LLM-derived and human-derived Elo ratings across held-out models, producing prediction intervals with distribution-free marginal coverage guarantees that account for irreducible LLM-human disagreement. Together, these two layers yield a low-cost evaluation tool that provides developers with calibrated Elo estimates and honest uncertainty bounds, without access to large-scale humanthis http URLfacilitate reproducibility, we release our code atthis https URL.