Large Language Models for Simultaneous Named Entity Extraction and Spelling Correction

📄 arXiv: 2403.00528v1 📥 PDF

作者: Edward Whittaker, Ikuo Kitagishi

分类: cs.CL, cs.CV

发布日期: 2024-03-01

备注: 9 pages, 1 figure

💡 一句话要点

提出解码器模型以同时进行命名实体提取和拼写纠正

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 命名实体识别 拼写纠正 大型语言模型 光学字符识别 文本处理 生成模型

📋 核心要点

  1. 现有方法主要依赖BERT等模型进行命名实体识别，但在拼写纠正方面存在局限性。
  2. 本文提出使用解码器模型生成性地提取命名实体，并同时纠正拼写错误，拓展了语言模型的应用。
  3. 实验结果表明，最佳微调的LLM在性能上与BERT相当，并在某些情况下成功纠正了OCR错误。

📝 摘要（中文）

语言模型（LMs）如BERT在文本中识别命名实体（NE）方面表现良好。本文假设解码器仅的大型语言模型（LLMs）也可以生成性地提取NE，并自动纠正输入文本中的拼写错误。我们对两种BERT LMs和八种开源LLMs进行了微调，任务是从通过光学字符识别（OCR）处理的日本商店收据图像中提取NE。结果显示，最佳微调的LLM在性能上与最佳微调的BERT LM相当，且在某些情况下能够纠正OCR错误，验证了我们的假设。

🔬 方法详解

问题定义：本文旨在解决命名实体提取与拼写纠正的双重任务。现有方法主要依赖于BERT等模型，无法有效处理输入文本中的拼写错误，限制了其应用场景。

核心思路：我们假设解码器仅的大型语言模型（LLMs）可以生成性地提取命名实体，并在此过程中自动纠正拼写错误。这种设计旨在利用LLMs的生成能力，提升文本处理的准确性和效率。

技术框架：整体架构包括数据预处理、模型微调和结果评估三个主要阶段。首先，通过OCR技术从图像中提取文本，然后对BERT和LLM进行微调，最后评估模型在命名实体提取和拼写纠正上的表现。

关键创新：本文的主要创新在于将解码器模型应用于命名实体提取任务，并同时实现拼写纠正。这与传统的分类方法形成了鲜明对比，拓宽了语言模型的应用范围。

关键设计：在微调过程中，我们对模型的超参数进行了优化，采用了适当的损失函数以平衡命名实体提取和拼写纠正的任务。此外，使用了多种开源LLMs进行对比实验，以验证我们的方法的有效性。

📊 实验亮点

实验结果显示，最佳微调的LLM在命名实体提取任务中表现与最佳微调的BERT相当，且在拼写纠正方面表现出色，成功纠正了部分OCR错误。这表明解码器模型在文本处理中的潜力，推动了相关领域的研究进展。

🎯 应用场景

该研究的潜在应用领域包括文本处理、信息提取和OCR系统的优化。通过同时进行命名实体提取和拼写纠正，可以显著提升文本数据的质量和可用性，尤其是在处理手写或扫描文档时。未来，这一方法有望在多语言处理和实时文本分析中发挥更大作用。

📄 摘要（原文）

Language Models (LMs) such as BERT, have been shown to perform well on the task of identifying Named Entities (NE) in text. A BERT LM is typically used as a classifier to classify individual tokens in the input text, or to classify spans of tokens, as belonging to one of a set of possible NE categories. In this paper, we hypothesise that decoder-only Large Language Models (LLMs) can also be used generatively to extract both the NE, as well as potentially recover the correct surface form of the NE, where any spelling errors that were present in the input text get automatically corrected. We fine-tune two BERT LMs as baselines, as well as eight open-source LLMs, on the task of producing NEs from text that was obtained by applying Optical Character Recognition (OCR) to images of Japanese shop receipts; in this work, we do not attempt to find or evaluate the location of NEs in the text. We show that the best fine-tuned LLM performs as well as, or slightly better than, the best fine-tuned BERT LM, although the differences are not significant. However, the best LLM is also shown to correct OCR errors in some cases, as initially hypothesised.