Anchoring Bias in LLM-as-a-Judge Systems: Prior Scores Compromise Evaluation Independence
作者: Ante Kapetanovic, Kemal Altwlkany, Andro Mercep, Tomislav Duricic, Emanuel Lacic
分类: cs.CL
发布日期: 2026-08-26
备注: 10 pages, full research paper, to appear in proceedings of the 35th ACM International Conference on Information and Knowledge Management (CIKM '26), 2026
💡 一句话要点
揭示大语言模型评估中的锚定偏差问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 评估偏差 锚定元数据 上下文设计 机器学习
📋 核心要点
- 现有的LLM评估方法假设每次判断是独立的，但研究发现先前评分会影响后续判断，导致评估偏差。
- 论文提出通过分析不同提示条件下的评分，揭示锚定元数据对模型判断的影响，强调上下文设计的重要性。
- 实验结果显示，锚定元数据不仅影响数值评分，还会导致分类决策错误，48%的错误修正被阻止，10.18%的正确判断被错误标记。
📝 摘要（中文）
随着大语言模型（LLMs）在生成内容评估中的应用日益增加，LLM作为评审者的范式逐渐形成。这些系统在生产流程中对输出进行评分、过滤内容和引导迭代优化，通常假设每次判断与之前的评估是独立的。本文通过三种提示条件测试了这一假设，结果表明，先前的评分即使仅作为上下文元数据存在，也会锚定判断并系统性地影响评分。实验显示，七个被评估模型在192,000次评估中，95%的任务分层自助区间低于零，表明锚定元数据对评分的影响显著。
🔬 方法详解
问题定义：本文旨在解决大语言模型在评估生成内容时的独立性假设问题，现有方法未考虑先前评分对后续判断的影响，导致评估结果偏差。
核心思路：通过引入不同的提示条件（无元数据、修订框架和锚定元数据），研究先前评分如何影响模型的判断，强调上下文设计的重要性。
技术框架：整体流程包括三个阶段：首先设置不同的提示条件；其次进行192,000次评估；最后分析评分变化及其对模型判断的影响。
关键创新：最重要的创新在于揭示了锚定元数据对模型评分的系统性影响，尤其是在分类决策中，显示了偏差的广泛性。
关键设计：实验中使用了Cohen's d作为评分分布差异的标准化度量，分析了模型在不同条件下的响应模式，发现引入锚定元数据后输出评分概率的显著重分布。
🖼️ 关键图片
📊 实验亮点
实验结果显示，七个被评估模型在192,000次评估中，95%的任务分层自助区间低于零，表明锚定元数据对评分的影响显著。Cohen's d值达到0.71，表明评分分布之间存在显著差异，且锚定元数据导致48%的错误修正被阻止。
🎯 应用场景
该研究的潜在应用领域包括内容生成、自动评估系统和机器学习模型的设计。通过理解和减轻锚定偏差，能够提升模型在实际应用中的评估准确性和可靠性，尤其是在需要高精度判断的行业中。未来，研究结果可能推动更为严谨的上下文设计方法，以确保模型评估的公正性。
📄 摘要（原文）
Large language models (LLMs) increasingly assess generated content, giving rise to the LLM-as-a-Judge paradigm. These systems now score outputs, filter content, and gate iterative refinement in production pipelines, where each judgment is often assumed to be independent of earlier evaluations. We test this assumption using three prompt conditions: no metadata, revision framing, and anchored metadata containing revision, attempt, and prior-score fields. We show that prior scores, even when included only as context metadata, anchor judgments and systematically shift ratings toward their values. Across 192,000 attempted evaluations (185,271 successful), seven out of the eight evaluated models have 95% task-stratified bootstrap intervals below zero for the total anchored-metadata effect on 20 fixed texts. Cohen's $d$, a standardized measure of the difference between score distributions, reaches an absolute value of 0.71. Token-level analysis of selected model-task probes suggests a threshold-like response pattern: introducing anchored metadata produces a marked redistribution of output-score probabilities, while changing the anchor value within the tested below-threshold range produces comparatively little additional variation. On categorical industry data with human-labeled ground truth, anchored metadata blocks 48% of error corrections and flips 10.18% of correct judgments toward an assigned wrong label, demonstrating the bias extends beyond numerical scoring to categorical decisions. Neither Chain-of-Thought nor a metadata-disregard warning reduces the total effect, although the warning improves the paired accuracy effect relative to baseline in the industry experiment. Reliable LLM evaluation demands careful context engineering rather than an assumption of impartiality. Effective mitigation must be validated for the intended model and task or domain.