Prompting open-source and commercial language models for grammatical error correction of English learner text

📄 arXiv: 2401.07702v2 📥 PDF

作者: Christopher Davis, Andrew Caines, Øistein Andersen, Shiva Taslimipoor, Helen Yannakoudakis, Zheng Yuan, Christopher Bryant, Marek Rei, Paula Buttery

分类: cs.CL

发布日期: 2024-01-15 (更新: 2025-04-06)

备注: 8 pages with appendices; accepted to ACL Findings 2024

DOI: 10.18653/v1/2024.findings-acl.711

💡 一句话要点

评估开源与商业语言模型在英语学习者文本语法错误纠正中的表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语法错误纠正 大型语言模型 开源模型 商业模型 教育技术 生成性人工智能

📋 核心要点

  1. 现有研究主要集中于GPT模型，缺乏对多种LLMs在语法错误纠正任务中的全面评估。
  2. 本研究通过评估七个开源和三个商业LLMs在多个GEC基准上的表现，提供了更全面的比较。
  3. 实验结果表明，开源模型在某些基准上超越商业模型，并且零-shot提示在某些情况下表现与少量示例提示相当。

📝 摘要（中文）

随着生成性人工智能的进步，我们能够通过提示大型语言模型（LLMs）生成流畅且语法正确的文本。研究表明，当输入不合语法的句子时，LLMs能够尝试进行语法错误纠正（GEC）。本研究评估了七个开源和三个商业LLMs在四个已建立的GEC基准数据集上的表现，超越了以往仅考察GPT模型的研究。结果显示，LLMs在特定情况下表现优于监督学习的GEC模型，尤其是在流畅性纠正的基准上，而在最小编辑基准上，多个开源模型的表现优于商业模型。此外，在某些设置下，零-shot提示与少量示例提示的竞争力相当。

🔬 方法详解

问题定义：本研究旨在解决现有方法在语法错误纠正任务中的局限性，尤其是对不同类型LLMs的评估不足。现有研究多集中于少数模型，缺乏对多样化模型的系统性比较。

核心思路：通过对七个开源和三个商业LLMs进行评估，研究其在四个已建立的GEC基准数据集上的表现，探索不同模型在不同错误类型上的效果。

技术框架：研究首先收集并整理了多个GEC基准数据集，然后通过提示不同的LLMs进行语法错误纠正，最后对比分析各模型的表现。主要模块包括数据集准备、模型选择、提示设计和结果评估。

关键创新：本研究的创新在于对多种开源与商业LLMs的系统性评估，尤其是在流畅性纠正与最小编辑任务中的表现对比，填补了现有研究的空白。

关键设计：在实验中，采用了标准的评估指标来衡量模型的表现，并对不同类型的错误进行了分类，以便更细致地分析模型的强项与弱项。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，商业LLMs在流畅性纠正基准上表现优于监督学习模型，而在最小编辑基准上，多个开源模型的表现更为出色。此外，零-shot提示在某些设置下的表现与少量示例提示相当，展示了LLMs在GEC任务中的灵活性和适应性。

🎯 应用场景

该研究的潜在应用领域包括教育技术、语言学习辅助工具和自动化写作助手。通过改进语法错误纠正的效果，可以帮助英语学习者提高写作能力，增强语言学习的效率和效果。未来，随着模型的不断优化和数据集的丰富，该技术有望在更广泛的语言学习和文本处理场景中发挥重要作用。

📄 摘要（原文）

Thanks to recent advances in generative AI, we are able to prompt large language models (LLMs) to produce texts which are fluent and grammatical. In addition, it has been shown that we can elicit attempts at grammatical error correction (GEC) from LLMs when prompted with ungrammatical input sentences. We evaluate how well LLMs can perform at GEC by measuring their performance on established benchmark datasets. We go beyond previous studies, which only examined GPT* models on a selection of English GEC datasets, by evaluating seven open-source and three commercial LLMs on four established GEC benchmarks. We investigate model performance and report results against individual error types. Our results indicate that LLMs do not always outperform supervised English GEC models except in specific contexts -- namely commercial LLMs on benchmarks annotated with fluency corrections as opposed to minimal edits. We find that several open-source models outperform commercial ones on minimal edit benchmarks, and that in some settings zero-shot prompting is just as competitive as few-shot prompting.