Humans or LLMs as the Judge? A Study on Judgement Biases

📄 arXiv: 2402.10669v5 📥 PDF

作者: Guiming Hardy Chen, Shunian Chen, Ziche Liu, Feng Jiang, Benyou Wang

分类: cs.CL

发布日期: 2024-02-16 (更新: 2024-09-26)

备注: EMNLP2024

💡 一句话要点

提出无需参考真实标注的框架以研究评判偏差

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 评判偏差 大型语言模型 人类评判者 无标注评估 机器学习评估

📋 核心要点

  1. 现有方法在评估LLM性能时容易受到人类和LLM自身偏见的影响，导致评估结果不可靠。
  2. 本文提出了一种新框架，旨在研究多种偏见，而无需依赖真实标注，从而提高评估的客观性。
  3. 实验结果显示，人类和LLM评判者对扰动的敏感性不同，且即使是最先进的评判者也存在显著偏见。

📝 摘要（中文）

近年来，采用人类和大型语言模型（LLM）作为评判者来评估LLM的性能引起了关注。然而，这种方法同时引入了人类和LLM的潜在偏见，质疑了评估结果的可靠性。本文提出了一种新颖的框架，旨在研究LLM和人类评判者的误信息监督偏差、性别偏差、权威偏差和美丽偏差，而无需参考真实标注。我们基于修订版布鲁姆分类法策划了一个数据集，并进行了数千次评估。结果表明，人类和LLM评判者在不同程度上对扰动敏感，甚至最先进的评判者也存在显著偏见。我们进一步利用这些偏见对LLM评判者进行攻击。希望我们的工作能够提醒社区关注人类和LLM评判者的偏见与脆弱性，以及开发稳健评估系统的紧迫性。

🔬 方法详解

问题定义：本文旨在解决人类和LLM作为评判者时引入的偏见问题，现有方法依赖真实标注，容易受到主观因素影响，导致评估结果不可靠。

核心思路：提出一种无需真实标注的评估框架，通过研究不同类型的偏见（如性别偏见、权威偏见等），提高评估的客观性和有效性。

技术框架：整体架构包括数据集的构建、评估指标的设计和偏见分析模块。数据集基于修订版布鲁姆分类法，进行数千次评估以获取结果。

关键创新：最重要的创新在于提出了一种无须真实标注的评估框架，能够系统性地研究评判偏见，区别于传统依赖标注的评估方法。

关键设计：在数据集构建中，采用修订版布鲁姆分类法进行分类，设计了多种评估指标，确保评估的全面性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，人类和LLM评判者在面对扰动时表现出不同程度的敏感性，且即使是最先进的评判者也存在显著的偏见。这一发现强调了评估系统的脆弱性，呼吁开发更为稳健的评估方法。

🎯 应用场景

该研究的潜在应用领域包括人工智能评估、机器学习模型的性能分析以及人机交互系统的设计。通过识别和减轻评判偏见，可以提升AI系统的公平性和可靠性，推动更广泛的应用和接受度。

📄 摘要（原文）

Adopting human and large language models (LLM) as judges (a.k.a human- and LLM-as-a-judge) for evaluating the performance of LLMs has recently gained attention. Nonetheless, this approach concurrently introduces potential biases from human and LLMs, questioning the reliability of the evaluation results. In this paper, we propose a novel framework that is free from referencing groundtruth annotations for investigating Misinformation Oversight Bias, Gender Bias, Authority Bias and Beauty Bias on LLM and human judges. We curate a dataset referring to the revised Bloom's Taxonomy and conduct thousands of evaluations. Results show that human and LLM judges are vulnerable to perturbations to various degrees, and that even the cutting-edge judges possess considerable biases. We further exploit these biases to conduct attacks on LLM judges. We hope that our work can notify the community of the bias and vulnerability of human- and LLM-as-a-judge, as well as the urgency of developing robust evaluation systems.