Aligning with Human Judgement: The Role of Pairwise Preference in Large Language Model Evaluators

📄 arXiv: 2403.16950v5 📥 PDF

作者: Yinhong Liu, Han Zhou, Zhijiang Guo, Ehsan Shareghi, Ivan Vulić, Anna Korhonen, Nigel Collier

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-03-25 (更新: 2025-01-17)

备注: This paper has been accepted by COLM 2024

💡 一句话要点

提出PAIRS方法以解决LLM评估与人类判断不一致问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 自动评估 成对偏好 排名问题 评估校准 自然语言处理 机器学习

📋 核心要点

  1. 现有的LLM评估方法存在偏差，难以生成与人类评估一致的结果，现有校准方法效果有限。
  2. 本文提出将评估问题视为排名问题，设计了PAIRS方法，通过成对比较实现高效的文本排名。
  3. 实验结果表明，PAIRS在长文本生成评估任务上表现优异，显著提升了评估准确性，超越了传统的直接评分方法。

📝 摘要（中文）

大型语言模型（LLMs）在自动评估生成自然语言质量方面表现出色，但仍存在评估偏差，难以与人类评估一致。本文系统研究了LLM评估与人类评估之间的错位，发现现有的校准方法不足以有效对齐LLM评估。受强化学习中的偏好数据启发，本文将评估问题形式化为排名问题，提出了一种不确定性引导的搜索基础排名聚合方法——Pairwise-preference Search（PAIRS），该方法通过局部的成对比较高效地对候选文本进行全局排名。PAIRS在长文本生成的代表性评估任务上实现了最先进的性能，并显著优于直接评分。此外，本文还探讨了成对偏好在量化LLM传递性中的作用，并展示了PAIRS如何通过去偏的成对评估获益于校准。

🔬 方法详解

问题定义：本文旨在解决大型语言模型（LLMs）在评估生成文本时与人类判断不一致的问题。现有的校准方法未能有效消除LLMs的评估偏差，导致评估结果不可靠。

核心思路：我们将评估视为一个排名问题，提出了PAIRS方法，利用成对偏好数据进行局部比较，从而实现全局文本排名。这种设计旨在提高评估的一致性和准确性。

技术框架：PAIRS方法的整体架构包括成对比较模块和排名聚合模块。首先，利用LLMs进行局部的成对比较，然后通过不确定性引导的搜索策略对候选文本进行全局排名。

关键创新：PAIRS的主要创新在于将成对偏好引入评估过程，通过不确定性引导的搜索方法实现了更高效的排名聚合。这与传统的直接评分方法有本质区别，后者往往忽视了文本之间的相对关系。

关键设计：在设计中，我们采用了去偏的成对评估作为校准手段，并设置了适当的损失函数以优化排名效果。此外，模型的参数设置经过精心调整，以确保在不同评估任务中的通用性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PAIRS在长文本生成的评估任务上达到了最先进的性能，相较于传统的直接评分方法，评估准确性提升了显著的比例，具体数值未提供，但提升幅度明显，验证了方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的自动评估系统、内容生成质量控制以及人机交互中的反馈机制。PAIRS方法的引入有助于提高LLM在实际应用中的可靠性和用户满意度，未来可能推动更智能的评估工具的发展。

📄 摘要（原文）

Large Language Models (LLMs) have demonstrated promising capabilities as automatic evaluators in assessing the quality of generated natural language. However, LLMs still exhibit biases in evaluation and often struggle to generate coherent evaluations that align with human assessments. In this work, we first conduct a systematic study of the misalignment between LLM evaluators and human evaluation, revealing that existing calibration methods aimed at mitigating biases of LLMs are insufficient for effectively aligning LLM evaluators. Inspired by the use of preference data in RLHF, we formulate the evaluation as a ranking problem and introduce Pairwise-preference Search (PAIRS), an uncertainty-guided search-based rank aggregation method that employs LLMs to conduct pairwise comparisons locally and efficiently ranks candidate texts globally. PAIRS achieves state-of-the-art performance on representative evaluation tasks in long-form generations and demonstrates significant improvements over direct scoring. Furthermore, we provide insights into the role of pairwise preference in quantifying the transitivity of LLMs and demonstrate how PAIRS benefits from calibration using debiased pairwise evaluations.