Exploring Prompting Large Language Models as Explainable Metrics

📄 arXiv: 2311.11552v1 📥 PDF

作者: Ghazaleh Mahmoudi

分类: cs.CL, cs.AI, cs.LG

发布日期: 2023-11-20

备注: 9 pages, Eval4NLP 2023

期刊: Proceedings of the 4th Workshop on Evaluation and Comparison for NLP systems (2023)

💡 一句话要点

提出基于零-shot提示的评估策略以提升文本摘要质量

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 文本摘要 可解释性评估 零-shot学习 自然语言处理 自动化评估

📋 核心要点

  1. 现有的文本摘要评估方法往往依赖于人工评估，效率低且主观性强，难以实现自动化和可解释性。
  2. 论文提出了一种基于零-shot提示的评估策略，利用大型语言模型生成可解释的评估指标，提升评估的自动化程度。
  3. 实验结果表明，最佳提示与人工评估的Kendall相关性达到0.477，展示了LLMs在摘要评估中的有效性和潜力。

📝 摘要（中文）

本文描述了IUST NLP实验室在Eval4NLP 2023研讨会的“将大型语言模型作为可解释指标”共享任务中的提交。我们提出了一种基于零-shot提示的策略，用于利用大型语言模型（LLMs）对文本摘要任务进行可解释评估。实验结果显示，LLMs在自然语言处理（NLP）领域，尤其是在摘要生成方面，作为评估指标的潜力非常可观。实验中采用了少量样本和零样本的方法。我们提供的最佳提示在文本摘要任务中与人工评估的Kendall相关性达到了0.477。代码和结果已在GitHub上公开。

🔬 方法详解

问题定义：本文旨在解决文本摘要任务中评估方法的不足，现有方法依赖人工评估，效率低且缺乏可解释性。

核心思路：提出一种基于零-shot提示的策略，利用大型语言模型生成可解释的评估指标，从而实现自动化评估。

技术框架：整体架构包括数据准备、提示设计、模型评估三个主要阶段。首先准备测试数据，然后设计适合的提示，最后利用LLMs进行评估并与人工评估结果进行比较。

关键创新：最重要的技术创新在于将大型语言模型作为评估指标，突破了传统评估方法的局限，实现了更高的自动化和可解释性。

关键设计：在提示设计中，采用了少量样本和零样本的方法，确保模型在没有大量标注数据的情况下仍能有效进行评估。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果显示，最佳提示与人工评估的Kendall相关性达到了0.477，表明该方法在文本摘要评估中具有良好的性能。相较于传统评估方法，LLMs的应用显著提升了评估的自动化和可解释性，展示了其在NLP领域的广泛潜力。

🎯 应用场景

该研究的潜在应用领域包括自动文本摘要评估、内容生成平台以及自然语言处理系统的性能评估。通过提高评估的自动化程度和可解释性，能够显著提升相关应用的效率和用户体验，未来可能对NLP领域的研究和应用产生深远影响。

📄 摘要（原文）

This paper describes the IUST NLP Lab submission to the Prompting Large Language Models as Explainable Metrics Shared Task at the Eval4NLP 2023 Workshop on Evaluation & Comparison of NLP Systems. We have proposed a zero-shot prompt-based strategy for explainable evaluation of the summarization task using Large Language Models (LLMs). The conducted experiments demonstrate the promising potential of LLMs as evaluation metrics in Natural Language Processing (NLP), particularly in the field of summarization. Both few-shot and zero-shot approaches are employed in these experiments. The performance of our best provided prompts achieved a Kendall correlation of 0.477 with human evaluations in the text summarization task on the test data. Code and results are publicly available on GitHub.