An In-depth Evaluation of Large Language Models in Sentence Simplification with Error-based Human Assessment

📄 arXiv: 2403.04963v4 📥 PDF

作者: Xuanxin Wu, Yuki Arase

分类: cs.CL, cs.AI

发布日期: 2024-03-08 (更新: 2025-07-12)

备注: Accepted by ACM Transactions on Intelligent Systems and Technology. Our human evaluation corpus is available at: https://github.com/WuXuanxin/human-eval-llm-simplification

💡 一句话要点

提出基于错误的人工评估框架以解决LLM简化能力评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 句子简化 人工评估 错误分析 自然语言处理 评估方法

📋 核心要点

  1. 现有的评估方法在评估大型语言模型的简化能力时存在不足，尤其是在自动指标和人工评估的适用性上。
  2. 本研究提出了一种基于错误的人工注释框架，以提高对LLMs简化能力的评估可靠性和深度。
  3. 实验结果显示，LLMs在简化输出的错误率上优于以往的技术，但在某些方面仍存在局限性，特别是在词汇释义方面。

📝 摘要（中文）

近年来的研究使用自动指标和人工评估来评估大型语言模型（LLMs）的简化能力。然而，现有评估方法的适用性仍存在疑问。当前的自动指标在LLMs简化评估中的适用性不确定，而人工评估方法往往过于表面或过于详细，导致评估的可靠性受到影响。为了解决这些问题，本研究设计了一种基于错误的人工注释框架，以评估LLMs的简化能力。研究结果表明，LLMs生成的简化输出错误率普遍低于以往的最先进技术，但在词汇释义方面仍存在局限性。此外，我们对广泛使用的自动指标进行了元评估，发现这些指标对高质量简化的敏感性不足。

🔬 方法详解

问题定义：本研究旨在解决现有评估方法在评估大型语言模型（LLMs）简化能力时的不足，尤其是自动指标的适用性和人工评估的可靠性问题。

核心思路：论文提出了一种基于错误的人工注释框架，通过系统化的错误分析来评估LLMs的简化能力，从而提高评估的深度和可靠性。

技术框架：整体架构包括数据收集、错误分类、人工注释和结果分析四个主要模块。首先收集LLMs生成的简化句子，然后对错误进行分类，接着进行人工注释，最后分析评估结果。

关键创新：最重要的技术创新点在于引入了基于错误的评估方法，区别于传统的表面评估和复杂的细节评估，提供了一种更为可靠的评估机制。

关键设计：在参数设置上，注释者根据错误类型进行分类，采用多层次的错误分析方法，确保评估的全面性和一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLMs在简化输出的错误率上普遍低于以往的最先进技术，尤其是在GPT-4和Qwen2.5-72B模型中，错误率显著降低。然而，这些模型在词汇释义方面仍存在一定的局限性，显示出进一步优化的空间。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的文本简化、教育技术中的辅助学习工具以及信息获取中的内容优化。通过提高LLMs的简化能力评估，能够更好地支持用户在不同场景下的信息理解与获取，具有重要的实际价值和未来影响。

📄 摘要（原文）

Recent studies have used both automatic metrics and human evaluations to assess the simplification abilities of LLMs. However, the suitability of existing evaluation methodologies for LLMs remains in question. First, the suitability of current automatic metrics on LLMs' simplification evaluation is still uncertain. Second, current human evaluation approaches in sentence simplification often fall into two extremes: they are either too superficial, failing to offer a clear understanding of the models' performance, or overly detailed, making the annotation process complex and prone to inconsistency, which in turn affects the evaluation's reliability. To address these problems, this study provides in-depth insights into LLMs' performance while ensuring the reliability of the evaluation. We design an error-based human annotation framework to assess the LLMs' simplification capabilities. We select both closed-source and open-source LLMs, including GPT-4, Qwen2.5-72B, and Llama-3.2-3B. We believe that these models offer a representative selection across large, medium, and small sizes of LLMs. Results show that LLMs generally generate fewer erroneous simplification outputs compared to the previous state-of-the-art. However, LLMs have their limitations, as seen in GPT-4's and Qwen2.5-72B's struggle with lexical paraphrasing. Furthermore, we conduct meta-evaluations on widely used automatic metrics using our human annotations. We find that these metrics lack sufficient sensitivity to assess the overall high-quality simplifications, particularly those generated by high-performance LLMs.