PRE: A Peer Review Based Large Language Model Evaluator

📄 arXiv: 2401.15641v2 📥 PDF

作者: Zhumin Chu, Qingyao Ai, Yiteng Tu, Haitao Li, Yiqun Liu

分类: cs.IR, cs.CL

发布日期: 2024-01-28 (更新: 2024-06-03)

备注: 11 pages

💡 一句话要点

提出基于同行评审的框架以解决LLM评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 评估机制 同行评审 自然语言处理 模型比较

📋 核心要点

  1. 现有的LLM评估方法依赖于人工或模型评估者，存在高成本和固有偏见等问题，难以支持LLM的可持续发展。
  2. 本文提出了一种基于同行评审的自动评估框架，通过资格考试选择评审者，并利用评审者对候选模型进行评分。
  3. 在文本摘要任务中，实验结果显示PRE模型优于所有基线，证明了同行评审机制在评估中的有效性。

📝 摘要（中文）

大型语言模型（LLMs）在学术和工业界引起了广泛关注，然而如何有效评估和比较这些模型的能力仍然是一个重要且困难的问题。现有评估方法依赖于人工标注或模型评估者，存在高成本、低通用性和固有偏见等问题。为了解决这些问题，本文提出了一种新颖的框架，通过模拟学术出版过程中的同行评审机制，自动评估LLMs。具体而言，首先构建小型资格考试从多个强大的LLMs中选择“评审者”，然后利用这些评审者对不同候选LLMs的“提交”进行评分。通过对11个LLMs（包括GPT-4）在文本摘要任务上的广泛实验，结果表明使用单一LLM评估时存在偏见，而我们的PRE模型在所有基线中表现优异，验证了同行评审机制的有效性。

🔬 方法详解

问题定义：本文旨在解决大型语言模型（LLMs）评估中的高成本、低通用性和固有偏见等问题。现有方法往往依赖于人工或单一模型评估，导致评估结果的不可靠性。

核心思路：提出一种基于同行评审的自动评估框架，模拟学术出版中的评审过程，通过构建资格考试选择多个强大的LLMs作为评审者，确保评估的多样性和准确性。

技术框架：整体架构包括两个主要阶段：首先构建资格考试以筛选评审者，其次利用选出的评审者对不同候选LLMs的提交进行评分，最终生成评估结果。

关键创新：最重要的创新在于引入同行评审机制，利用多个LLMs的集体智慧进行评估，克服了单一模型评估的偏见和局限性。

关键设计：在资格考试中，设置了特定的任务和评分标准，确保评审者具备足够的能力进行有效评估。同时，设计了合理的评分机制，以综合评审者的反馈生成最终排名。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PRE模型在文本摘要任务中优于所有基线，具体表现为在多项评估指标上均有显著提升，验证了同行评审机制的有效性和必要性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、教育评估和模型比较等。通过提供一种更为客观和全面的评估机制，能够促进LLMs的持续改进和优化，推动相关技术的进步与应用。

📄 摘要（原文）

The impressive performance of large language models (LLMs) has attracted considerable attention from the academic and industrial communities. Besides how to construct and train LLMs, how to effectively evaluate and compare the capacity of LLMs has also been well recognized as an important yet difficult problem. Existing paradigms rely on either human annotators or model-based evaluators to evaluate the performance of LLMs on different tasks. However, these paradigms often suffer from high cost, low generalizability, and inherited biases in practice, which make them incapable of supporting the sustainable development of LLMs in long term. In order to address these issues, inspired by the peer review systems widely used in academic publication process, we propose a novel framework that can automatically evaluate LLMs through a peer-review process. Specifically, for the evaluation of a specific task, we first construct a small qualification exam to select "reviewers" from a couple of powerful LLMs. Then, to actually evaluate the "submissions" written by different candidate LLMs, i.e., the evaluatees, we use the reviewer LLMs to rate or compare the submissions. The final ranking of evaluatee LLMs is generated based on the results provided by all reviewers. We conducted extensive experiments on text summarization tasks with eleven LLMs including GPT-4. The results demonstrate the existence of biasness when evaluating using a single LLM. Also, our PRE model outperforms all the baselines, illustrating the effectiveness of the peer review mechanism.