ANLS* -- A Universal Document Processing Metric for Generative Large Language Models

📄 arXiv: 2402.03848v10 📥 PDF

作者: David Peer, Philemon Schöpf, Volckmar Nebendahl, Alexander Rietzler, Sebastian Stabinger

分类: cs.CL, cs.AI

发布日期: 2024-02-06 (更新: 2025-04-22)

🔗 代码/项目: GITHUB

💡 一句话要点

提出ANLS*以解决生成大语言模型评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 生成大语言模型 文档处理 评估指标 信息提取 分类任务 提示生成 ANLS*

📋 核心要点

  1. 现有的评估方法主要针对判别模型，无法有效评估生成大语言模型的输出，导致评估标准不统一。
  2. 本文提出的ANLS*指标能够广泛适用于信息提取和分类任务，作为现有ANLS指标的替代方案，兼容性强。
  3. 通过对七个数据集和多种GLLMs的评估，ANLS*显示出其在评估生成模型方面的有效性，且SFT方法在提示生成上表现优异。

📝 摘要（中文）

传统上，判别模型在文档分类和信息提取等任务中占据主导地位，但随着生成大语言模型（GLLMs）的发展，评估这些模型的挑战日益突出。本文提出了一种新的评估指标ANLS，旨在适用于多种任务，包括信息提取和分类。ANLS作为现有ANLS指标的替代方案，兼容之前的ANLS评分。此外，本文还对七个不同数据集和20多种GLLMs进行了评估，展示了该指标的重要性。我们还提出了一种新的文档提示生成方法SFT，并与其他提示技术进行基准测试，结果显示SFT在大多数情况下优于其他方法，提升幅度可达10个百分点。

🔬 方法详解

问题定义：本文旨在解决生成大语言模型（GLLMs）评估中的挑战，现有的二元真值评估方法不适用于GLLMs的输出，导致评估标准缺乏一致性。

核心思路：提出ANLS*指标，作为现有ANLS指标的扩展，能够适用于多种任务，特别是信息提取和分类，且与之前的ANLS评分兼容。

技术框架：整体架构包括数据集选择、模型评估和提示生成三个主要模块。通过对不同数据集和GLLMs的评估，验证ANLS*的有效性。

关键创新：ANLS*是对现有评估指标的创新扩展，能够处理生成模型的多样化输出，解决了传统评估方法的局限性。

关键设计：在提示生成方面，提出SFT方法，并与LATIN等其他技术进行比较，SFT在大多数情况下表现更佳，提升了评估的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ANLS*在评估生成大语言模型方面具有显著优势，尤其是在与传统评估方法对比时，SFT方法在提示生成上提升了性能，某些情况下提升幅度达到10个百分点，进一步推动了文档处理技术的进步。

🎯 应用场景

该研究的潜在应用领域包括文档自动化处理、信息提取系统和智能问答系统等。ANLS*指标的提出为生成大语言模型的评估提供了新的标准，促进了相关技术的进一步发展和应用。未来，随着生成模型的广泛应用，该指标可能成为行业标准，推动更多创新。

📄 摘要（原文）

Traditionally, discriminative models have been the predominant choice for tasks like document classification and information extraction. These models make predictions that fall into a limited number of predefined classes, facilitating a binary true or false evaluation and enabling the direct calculation of metrics such as the F1 score. However, recent advancements in generative large language models (GLLMs) have prompted a shift in the field due to their enhanced zero-shot capabilities, which eliminate the need for a downstream dataset and computationally expensive fine-tuning. However, evaluating GLLMs presents a challenge as the binary true or false evaluation used for discriminative models is not applicable to the predictions made by GLLMs. This paper introduces a new metric for generative models called ANLS for evaluating a wide variety of tasks, including information extraction and classification tasks. The ANLS metric extends existing ANLS metrics as a drop-in-replacement and is still compatible with previously reported ANLS scores. An evaluation of 7 different datasets, and more than 20 different GLLMs together with 3 different prompting methods using the ANLS* metric is also provided, demonstrating the importance of the proposed metric. We also benchmark a novel approach to generate prompts for documents, called SFT, against other prompting techniques such as LATIN. In almost all cases, SFT outperforms other techniques and improves the state-of-the-art, sometimes by as much as $10$ percentage points. Sources are available at https://github.com/deepopinion/anls_star_metric