One Prompt To Rule Them All: LLMs for Opinion Summary Evaluation

📄 arXiv: 2402.11683v2 📥 PDF

作者: Tejpalsingh Siledar, Swaroop Nath, Sankara Sri Raghava Ravindra Muddu, Rupasai Rangaraju, Swaprava Nath, Pushpak Bhattacharyya, Suman Banerjee, Amey Patil, Sudhanshu Shekhar Singh, Muthusamy Chelliah, Nikesh Garera

分类: cs.CL

发布日期: 2024-02-18 (更新: 2024-06-09)

💡 一句话要点

提出SUMMEVAL-OP数据集与LLMs评估方法以解决意见摘要评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 意见摘要 大型语言模型 评估方法 SUMMEVAL-OP数据集 自然语言处理 无参考评估 多维度评估

📋 核心要点

  1. 现有的基于参考的意见摘要评估方法缺乏全面性，且与人类判断的相关性较低，限制了评估的有效性。
  2. 本文提出了SUMMEVAL-OP数据集，并设计了Op-I-Prompt和Op-Prompts两种提示方法，以提升意见摘要的评估效果。
  3. 实验结果显示，Op-I-Prompt在与人类评估的一致性上达到了0.70的Spearman相关性，显著优于以往的评估方法。

📝 摘要（中文）

传统的基于参考的意见摘要评估方法往往无法提供全面的评估，并且与人类判断的相关性较低。近期研究建议使用大型语言模型（LLMs）作为无参考的自然语言生成（NLG）评估指标，但在意见摘要评估中尚未得到探索。此外，有限的意见摘要评估数据集也阻碍了该领域的进展。为此，本文发布了SUMMEVAL-OP数据集，涵盖流畅性、一致性、相关性、真实性、方面覆盖、情感一致性和特异性等七个维度。我们研究了Op-I-Prompt（维度无关的提示）和Op-Prompts（维度相关的提示）用于意见摘要评估。实验表明，Op-I-Prompt在评估意见摘要方面表现良好，与人类的平均Spearman相关性达到0.70，超越了所有先前的方法。我们首次在意见摘要领域探讨了LLMs作为评估者的应用。

🔬 方法详解

问题定义：本文旨在解决传统意见摘要评估方法的不足，特别是其与人类判断的低相关性和缺乏全面评估的问题。现有方法通常依赖于参考标准，无法有效捕捉摘要的多维度特性。

核心思路：论文提出了SUMMEVAL-OP数据集，并引入了Op-I-Prompt和Op-Prompts两种提示方法，以实现维度无关和维度相关的评估。这种设计旨在利用大型语言模型的能力，提供更为全面和准确的评估。

技术框架：整体架构包括数据集的构建、提示方法的设计和评估实验。SUMMEVAL-OP数据集涵盖七个评估维度，而提示方法则通过不同的维度引导模型进行评估。

关键创新：最重要的创新在于首次将大型语言模型应用于意见摘要评估，并提出了维度无关的Op-I-Prompt，显著提高了评估的一致性和准确性。

关键设计：在提示方法的设计中，Op-I-Prompt作为维度无关的提示，能够有效捕捉摘要的整体质量，而Op-Prompts则针对特定维度进行优化，确保评估的全面性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Op-I-Prompt在与人类评估的一致性上达到了0.70的Spearman相关性，显著优于以往所有方法，展示了其在意见摘要评估中的有效性和潜力。

🎯 应用场景

该研究的潜在应用领域包括社交媒体内容分析、产品评论总结以及新闻摘要生成等。通过提供更准确的意见摘要评估工具，能够帮助企业和研究者更好地理解用户反馈和舆情动态，提升信息处理的效率与质量。

📄 摘要（原文）

Evaluation of opinion summaries using conventional reference-based metrics rarely provides a holistic evaluation and has been shown to have a relatively low correlation with human judgments. Recent studies suggest using Large Language Models (LLMs) as reference-free metrics for NLG evaluation, however, they remain unexplored for opinion summary evaluation. Moreover, limited opinion summary evaluation datasets inhibit progress. To address this, we release the SUMMEVAL-OP dataset covering 7 dimensions related to the evaluation of opinion summaries: fluency, coherence, relevance, faithfulness, aspect coverage, sentiment consistency, and specificity. We investigate Op-I-Prompt a dimension-independent prompt, and Op-Prompts, a dimension-dependent set of prompts for opinion summary evaluation. Experiments indicate that Op-I-Prompt emerges as a good alternative for evaluating opinion summaries achieving an average Spearman correlation of 0.70 with humans, outperforming all previous approaches. To the best of our knowledge, we are the first to investigate LLMs as evaluators on both closed-source and open-source models in the opinion summarization domain.