An Empirical Study of LLM-as-a-Judge for LLM Evaluation: Fine-tuned Judge Model is not a General Substitute for GPT-4

📄 arXiv: 2403.02839v4 📥 PDF

作者: Hui Huang, Xingyuan Bu, Hongli Zhou, Yingqi Qu, Jing Liu, Muyun Yang, Bing Xu, Tiejun Zhao

分类: cs.CL

发布日期: 2024-03-05 (更新: 2025-05-30)

备注: Accepted to Findings of ACL2025

💡 一句话要点

研究表明微调评估模型无法替代GPT-4的通用性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 模型评估 微调技术 通用性 公平性 适应性

📋 核心要点

  1. 现有的微调评估模型在特定领域表现良好，但缺乏通用性和适应性，无法全面替代GPT-4。
  2. 本研究通过实证分析，探讨了微调评估模型的局限性，强调其作为任务特定分类器的特性。
  3. 实验结果表明，微调评估模型在多个维度上均低于GPT-4，尤其是在公平性和适应性方面。

📝 摘要（中文）

近年来，利用大型语言模型（LLM）评估其他LLM的质量逐渐成为趋势。许多研究基于开源LLM微调评估模型，声称其评估能力与GPT-4相当。然而，本研究通过实证分析发现，尽管微调评估模型在特定领域测试集上表现优异，甚至超过GPT-4，但在通用性、公平性和适应性等多个维度上却不及GPT-4。研究还揭示，微调评估模型本质上作为任务特定分类器运作，从而限制了其应用范围。

🔬 方法详解

问题定义：本论文旨在解决微调评估模型在评估其他LLM时的局限性，尤其是其通用性和适应性不足的问题。现有方法虽然在特定领域表现良好，但缺乏广泛适用性。

核心思路：通过实证研究，分析微调评估模型与GPT-4在评估能力上的差异，揭示微调模型的任务特定性如何影响其评估效果。

技术框架：研究采用实证分析的方法，比较微调评估模型与GPT-4在多个维度（如通用性、公平性和适应性）的表现，构建了相应的测试集和评估指标。

关键创新：本研究的创新点在于系统性地揭示了微调评估模型的局限性，强调其作为任务特定分类器的特性，提出了与GPT-4的本质区别。

关键设计：在实验设计中，采用了多种评估指标，确保了对模型性能的全面评估，特别关注了模型在不同任务和领域的适应性。实验结果通过对比分析，明确了微调模型的不足之处。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，微调评估模型在特定领域测试集上表现优异，甚至超过GPT-4，但在通用性、公平性和适应性等维度上均低于GPT-4。具体而言，微调模型在某些任务上表现出色，但在跨任务评估中明显不足，验证了其作为任务特定分类器的局限性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的模型评估、机器学习模型的选择和优化等。通过深入理解微调评估模型的局限性，研究者可以更有效地选择合适的评估工具，从而提高模型开发的效率和效果。未来，该研究可能推动更为通用和公平的评估方法的发展。

📄 摘要（原文）

Recently, there has been a growing trend of utilizing Large Language Model (LLM) to evaluate the quality of other LLMs. Many studies have fine-tuned judge models based on open-source LLMs for evaluation. While the fine-tuned judge models are claimed to achieve comparable evaluation capability with GPT-4, in this work, we conduct an empirical study of LLM-as-a-Judge. Our findings indicate that although the fine-tuned judge models achieve high performance on in-domain test sets, even surpassing GPT-4, they underperform GPT-4 across several dimensions, including generalizability, fairness and adaptability. We also reveal that the fine-tuned judge model inherently operates as a task-specific classifier, consequently imposing the limitations.