A Comprehensive Analysis of the Effectiveness of Large Language Models as Automatic Dialogue Evaluators

📄 arXiv: 2312.15407v2 📥 PDF

作者: Chen Zhang, Luis Fernando D'Haro, Yiming Chen, Malu Zhang, Haizhou Li

分类: cs.CL

发布日期: 2023-12-24 (更新: 2024-01-20)

备注: An extended version of AAAI-2024 camera-ready paper (appendix included, 16 pages)

🔗 代码/项目: GITHUB

💡 一句话要点

全面分析大型语言模型作为自动对话评估器的有效性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 自动对话评估 元评估 对抗性扰动 模型集成 维度集成 对话系统

📋 核心要点

  1. 现有对话评估方法依赖参考答案，与人类评估一致性差，新兴的无参考答案的神经指标，特别是LLM，展现潜力。
  2. 该研究旨在通过多维度分析、对抗扰动测试和集成方法，全面评估LLM作为自动对话评估器的有效性。
  3. 研究分析了30个LLM在12个数据集上的表现，并探讨了模型集成和维度集成对评估性能的影响。

📝 摘要（中文）

自动评估是对话系统研究中不可或缺的一部分。传统的基于参考答案的自然语言生成（NLG）指标通常不适用于对话评估。因此，最近的研究提出各种独特的、无参考答案的神经指标，这些指标与人类评估更一致。其中，大型语言模型（LLM），特别是指令微调的变体（如ChatGPT），被证明是人类评估者的有希望的替代品。然而，现有的关于使用LLM进行自动对话评估的工作在元评估数据集的数量、评估模式、LLM的覆盖范围等方面都存在局限性。因此，这些LLM的有效性仍未有定论。为此，我们对LLM在自动对话评估中的应用进行了全面的研究。具体而言，我们使用包含12个元评估数据集的综合集合，在turn级别和对话级别分析了30个最近出现的LLM的多维度评估能力。此外，我们还探讨了LLM在处理turn级别和对话级别各种对抗性扰动时的鲁棒性。最后，我们探讨了模型级别和维度级别的集成如何影响评估性能。所有资源均可在https://github.com/e0397123/comp-analysis获取。

🔬 方法详解

问题定义：论文旨在解决对话系统自动评估中，传统基于参考答案的指标与人类评估不一致的问题。现有方法，特别是早期神经指标，在评估对话质量方面存在局限性，而新兴的LLM虽然展现了潜力，但其有效性尚未经过充分验证，需要更全面的评估。

核心思路：论文的核心思路是系统性地评估和分析LLM在自动对话评估任务中的表现。通过多维度评估、对抗性扰动测试和集成方法，深入了解LLM的评估能力、鲁棒性和可改进性，从而确定其作为自动对话评估器的有效性。

技术框架：该研究的技术框架主要包括以下几个阶段：1) 选择和准备元评估数据集，涵盖不同对话场景和评估维度；2) 选择30个具有代表性的LLM，包括指令微调模型；3) 设计多维度评估方案，在turn级别和对话级别评估LLM的评估能力；4) 构建对抗性扰动，测试LLM的鲁棒性；5) 探索模型级别和维度级别的集成方法，提高评估性能；6) 分析实验结果，总结LLM在自动对话评估中的优势和不足。

关键创新：该研究的关键创新在于：1) 对大量LLM进行了全面的评估，覆盖了更广泛的模型范围；2) 采用了多维度评估方案，更细致地分析了LLM的评估能力；3) 引入了对抗性扰动测试，评估了LLM的鲁棒性；4) 探索了模型集成和维度集成方法，提高了评估性能。与现有方法相比，该研究提供了更全面、更深入的LLM自动对话评估分析。

关键设计：论文的关键设计包括：1) 选择了12个元评估数据集，确保评估的全面性和代表性；2) 选择了30个LLM，覆盖了不同架构和训练方式的模型；3) 设计了多种对抗性扰动，模拟了实际应用中可能遇到的噪声和干扰；4) 采用了Spearman相关系数等指标，评估LLM的评估结果与人类评估的一致性；5) 探索了不同的模型集成和维度集成策略，例如平均集成和加权集成。

📊 实验亮点

该研究表明，一些LLM在自动对话评估任务中表现出与人类评估相当的性能。通过模型集成和维度集成，可以进一步提高评估性能。对抗性扰动测试揭示了LLM在处理噪声和干扰方面的鲁棒性。实验结果表明，LLM有潜力成为有效的自动对话评估器。

🎯 应用场景

该研究成果可应用于对话系统开发和评估的各个阶段，例如模型训练、超参数调整和性能比较。通过使用LLM作为自动评估器，可以降低人工评估的成本和时间，并提高评估的一致性和客观性。此外，该研究还可以为LLM的进一步优化和改进提供指导。

📄 摘要（原文）

Automatic evaluation is an integral aspect of dialogue system research. The traditional reference-based NLG metrics are generally found to be unsuitable for dialogue assessment. Consequently, recent studies have suggested various unique, reference-free neural metrics that better align with human evaluations. Notably among them, large language models (LLMs), particularly the instruction-tuned variants like ChatGPT, are shown to be promising substitutes for human judges. Yet, existing works on utilizing LLMs for automatic dialogue evaluation are limited in their scope in terms of the number of meta-evaluation datasets, mode of evaluation, coverage of LLMs, etc. Hence, it remains inconclusive how effective these LLMs are. To this end, we conduct a comprehensive study on the application of LLMs for automatic dialogue evaluation. Specifically, we analyze the multi-dimensional evaluation capability of 30 recently emerged LLMs at both turn and dialogue levels, using a comprehensive set of 12 meta-evaluation datasets. Additionally, we probe the robustness of the LLMs in handling various adversarial perturbations at both turn and dialogue levels. Finally, we explore how model-level and dimension-level ensembles impact the evaluation performance. All resources are available at https://github.com/e0397123/comp-analysis.