Benchmarking Generation and Evaluation Capabilities of Large Language Models for Instruction Controllable Summarization

📄 arXiv: 2311.09184v2 📥 PDF

作者: Yixin Liu, Alexander R. Fabbri, Jiawen Chen, Yilun Zhao, Simeng Han, Shafiq Joty, Pengfei Liu, Dragomir Radev, Chien-Sheng Wu, Arman Cohan

分类: cs.CL, cs.LG

发布日期: 2023-11-15 (更新: 2024-07-12)

备注: NAACL 2024 Findings, GitHub Repo: https://github.com/yale-nlp/InstruSum, LLM-evaluators Leaderboard: https://huggingface.co/spaces/yale-nlp/InstruSumEval

💡 一句话要点

提出指令可控文本摘要基准以评估大型语言模型的生成与评估能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 指令可控摘要 大型语言模型 文本生成 自动评估 基准测试

📋 核心要点

  1. 现有大型语言模型在复杂摘要任务中的表现仍然不足，尤其是在指令可控的文本摘要方面。
  2. 本文提出了一种新的基准测试方法，专注于评估LLMs在指令可控文本摘要中的生成和评估能力。
  3. 实验结果显示，所有评估的LLMs在生成摘要时仍存在错误，且与人工评估者的一致性较低。

📝 摘要（中文）

尽管大型语言模型（LLMs）在标准通用摘要基准上表现出色，但在更复杂的摘要任务设置下的表现尚未得到充分研究。因此，本文对LLMs在指令可控文本摘要任务中的表现进行了基准测试，该任务的输入包括源文章和自然语言要求。为此，我们策划了一个仅用于评估的数据集，并对五个基于LLM的系统进行了人工评估，以评估其在可控摘要中的指令遵循能力。我们还对该任务的LLM自动评估进行了基准测试，使用了四种不同的评估协议和11个LLM，结果产生了40种评估方法。研究表明，指令可控文本摘要仍然是LLMs面临的挑战，所有评估的LLMs在摘要中仍存在事实和其他类型的错误，且没有LLM评估方法能与人工标注者在判断候选摘要质量时达到良好一致性。我们将收集的基准InstruSum公开，以促进未来相关研究。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在指令可控文本摘要任务中的表现不足，现有方法在复杂任务设置下的能力尚未得到充分评估。

核心思路：通过策划一个专门的评估数据集，并对多个LLM进行基准测试，评估其在指令遵循和摘要生成方面的能力。

技术框架：整体架构包括数据集的构建、人工评估和自动评估三个主要模块。数据集包含源文章和自然语言指令，人工评估通过人类标注者进行，自动评估则使用多种评估协议。

关键创新：最大的创新在于提出了InstruSum基准，专注于指令可控文本摘要的评估，填补了现有研究的空白。

关键设计：在评估过程中，采用了四种不同的评估协议，并对11个LLM进行了测试，确保了评估方法的多样性和全面性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所有评估的LLMs在生成摘要时仍存在事实错误，且与人工评估者的一致性较低，表明指令可控文本摘要仍是一个具有挑战性的任务。不同LLMs在摘要生成和评估能力上存在显著差异，强调了进一步研究的必要性。

🎯 应用场景

该研究的潜在应用领域包括新闻摘要、法律文档总结和教育领域的自动化学习材料生成。通过提高LLMs在指令可控摘要任务中的表现，可以为用户提供更为精准和个性化的信息提取服务，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

While large language models (LLMs) can already achieve strong performance on standard generic summarization benchmarks, their performance on more complex summarization task settings is less studied. Therefore, we benchmark LLMs on instruction controllable text summarization, where the model input consists of both a source article and a natural language requirement for desired summary characteristics. To this end, we curate an evaluation-only dataset for this task setting and conduct human evaluations of five LLM-based systems to assess their instruction-following capabilities in controllable summarization. We then benchmark LLM-based automatic evaluation for this task with 4 different evaluation protocols and 11 LLMs, resulting in 40 evaluation methods. Our study reveals that instruction controllable text summarization remains a challenging task for LLMs, since (1) all LLMs evaluated still make factual and other types of errors in their summaries; (2) no LLM-based evaluation methods can achieve a strong alignment with human annotators when judging the quality of candidate summaries; (3) different LLMs show large performance gaps in summary generation and evaluation capabilities. We make our collected benchmark InstruSum publicly available to facilitate future research in this direction.