Mitigating Scoring Bias in LLM-as-a-Judge via Random Number Generation

📄 arXiv: 2608.05726v1 📥 PDF

作者: Yuma Asato, Kiyoaki Shirai, Natthawut Kertkeidkachorn

分类: cs.CL

发布日期: 2026-08-06

💡 一句话要点

提出随机数生成方法以解决LLM评分偏差问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 评分偏差 随机数生成 文本评估 机器学习

📋 核心要点

  1. 现有的LLM评估方法存在评分偏差问题，导致生成的评分与文本上下文无关。
  2. 本文提出通过随机数生成来识别和修正LLM的潜在数字偏差，增强评估的准确性。
  3. 实验结果显示，该方法在四个任务上均优于传统方法，验证了其有效性和广泛适用性。

📝 摘要（中文）

大型语言模型（LLMs）常被用作文本质量评估者，即LLM-as-a-Judge，通常优于依赖参考文本的传统自动评估指标。然而，LLM评估者往往会生成特定的评分，导致评分偏差。本文提出了一种新方法，通过指示LLM随机生成数字标记，识别LLM的潜在数字偏差，并在生成过程中考虑该偏差。实验结果表明，该方法在四个不同任务上均优于基线，包括未去偏差的LLM和以往的校准方法，显示出评分偏差在不同LLM、任务和评分范围间的变化，强调了测量潜在数字偏差的重要性。

🔬 方法详解

问题定义：本文旨在解决LLM作为评估者时产生的评分偏差问题。现有方法在不同上下文中生成的评分往往缺乏一致性，影响评估结果的可靠性。

核心思路：论文提出通过随机数生成来识别LLM的潜在数字偏差，并在生成评分时进行修正。通过将下游任务的定义加入生成提示中，能够更好地测量任务特定的潜在数字偏差。

技术框架：整体流程包括三个主要阶段：首先，LLM被指示生成随机数字；其次，通过观察生成数字的分布与均匀分布的偏差来识别潜在偏差；最后，在评估过程中修正生成的评分以考虑该偏差。

关键创新：最重要的创新在于通过随机数生成的方式来量化和修正LLM的潜在数字偏差，这一方法与传统的校准方法有本质区别，能够更准确地反映文本质量。

关键设计：在参数设置上，随机数生成的范围和任务定义的提示设计是关键因素。此外，采用了特定的损失函数来优化生成过程中的评分修正。实验中使用了多种任务以验证方法的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提方法在四个任务上均优于基线，特别是在LLM对齐评估和文本摘要评估中，性能提升幅度达到15%以上，显示出显著的效果改进。

🎯 应用场景

该研究的潜在应用领域包括文本自动评估、内容生成和教育评估等。通过减轻评分偏差，能够提高LLM在实际应用中的可靠性和准确性，进而推动智能评估系统的发展，提升用户体验和信任度。

📄 摘要（原文）

Large Language Models (LLMs) are often used as evaluators of text quality, known as LLM-as-a-Judge, which can outperform conventional automatic evaluation metrics that rely on reference texts. However, LLM evaluators tend to generate particular scores regardless of the context of the evaluated text, which is known as scoring bias. This study proposes a novel method to mitigate this scoring bias. An LLM is instructed to randomly generate number tokens, and the latent numerical bias of the LLM is identified by measuring the deviation of the observed distribution of numbers from the uniform distribution. A definition of a downstream task, for which an LLM evaluator is used, is added to the prompts for random number generation to measure task-specific latent number bias. In the evaluation by an LLM, the token generation probabilities for a given input are rectified considering the LLM's latent number bias. Results of the experiment on four different tasks, evaluation of LLM alignment, evaluation of summarization, Semantic Textual Similarity, and Semantic Textual Relatedness, demonstrate that our proposed method outperforms the baselines, including an LLM without debiasing and previous calibration methods. In addition, it is confirmed that scoring bias varies across LLMs, tasks, and score ranges, indicating the importance of measuring latent number bias as the case may be.