Evaluating Small Decoder-Only Language Models for Grammar Correction and Text Simplification

📄 arXiv: 2601.03874v1 📥 PDF

作者: Anthony Lamelas

分类: cs.CL

发布日期: 2026-01-07

备注: 9 pages, 12 figures

💡 一句话要点

评估小型Decoder-Only语言模型在语法纠错和文本简化任务中的性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 小型语言模型 Decoder-Only模型 语法纠错 文本简化 语言模型评估

📋 核心要点

  1. 大型语言模型计算成本高昂，难以在资源受限场景部署，需要探索更高效的替代方案。
  2. 本文评估小型Decoder-Only语言模型在语法纠错和文本简化任务上的潜力，考察其性能。
  3. 实验表明，小型模型虽能学习特定行为，但性能与大型模型和基线方法相比仍有差距。

📝 摘要（中文）

大型语言模型（LLM）因其在文本生成和重写等任务上的强大性能而备受欢迎，但其庞大的规模和计算成本使其在许多场景中难以访问、部署和保障安全。本文研究了小型、仅解码器的语言模型（SLM）是否能为语法纠错和文本简化任务提供一种高效的替代方案。本文的实验侧重于在JFLEG和ASSET数据集上，使用已建立的指标，对开箱即用、微调和顺序运行的小型语言模型进行测试。结果表明，虽然SLM可能很好地学习某些行为，但它们的性能仍然低于强大的基线和当前的LLM。结果还表明，SLM在保持意义和幻觉方面存在困难。这些发现表明，尽管SLM具有效率优势，但就重写而言，当前的SLM与现代LLM相比仍不具竞争力，并且需要进一步的训练进展才能缩小SLM与当今LLM之间的性能差距。

🔬 方法详解

问题定义：论文旨在评估小型Decoder-Only语言模型在语法纠错和文本简化任务中的有效性。现有的大型语言模型虽然性能强大，但计算成本高，难以部署在资源受限的环境中。因此，探索一种更高效的替代方案至关重要。

核心思路：论文的核心思路是考察小型Decoder-Only语言模型是否能够在语法纠错和文本简化任务上达到可接受的性能水平，从而在效率和性能之间取得平衡。通过评估这些模型的性能，可以确定它们是否能够成为大型语言模型的可行替代方案。

技术框架：论文采用实验研究的方法，主要流程包括：1) 选择小型Decoder-Only语言模型；2) 在JFLEG和ASSET数据集上进行评估；3) 采用开箱即用、微调和顺序运行三种方式测试模型；4) 使用既定指标评估模型在语法纠错和文本简化任务上的性能。

关键创新：论文的关键创新在于对小型Decoder-Only语言模型在语法纠错和文本简化任务上的潜力进行了系统性的评估。虽然之前也有研究探索小型语言模型，但本文专注于Decoder-Only架构，并针对特定任务进行了深入分析。

关键设计：论文的关键设计包括：1) 选择合适的JFLEG和ASSET数据集进行评估；2) 采用开箱即用、微调和顺序运行三种不同的测试方式，以全面评估模型的性能；3) 使用标准化的评估指标，以便与其他方法进行比较；4) 重点关注模型在保持语义一致性和避免幻觉方面的表现。

📊 实验亮点

实验结果表明，小型Decoder-Only语言模型在语法纠错和文本简化任务上表现出一定的能力，但其性能仍低于强大的基线模型和当前的大型语言模型。特别是在保持语义一致性和避免幻觉方面，小型模型表现较差。这表明，尽管小型模型具有效率优势，但仍需进一步改进才能与大型模型竞争。

🎯 应用场景

该研究成果可应用于资源受限的场景，例如移动设备或嵌入式系统，在这些场景中，部署大型语言模型是不切实际的。小型语言模型可以用于实时语法纠错、文本简化，提高信息的可访问性和易用性。未来的研究可以进一步优化小型模型的训练方法，提高其性能，使其在更多实际应用中发挥作用。

📄 摘要（原文）

Large language models have become extremely popular recently due to their ability to achieve strong performance on a variety of tasks, such as text generation and rewriting, but their size and computation cost make them difficult to access, deploy, and secure in many settings. This paper investigates whether small, decoder-only language models can provide an efficient alternative for the tasks of grammar correction and text simplification. The experiments in this paper focus on testing small language models out of the box, fine-tuned, and run sequentially on the JFLEG and ASSET datasets using established metrics. The results show that while SLMs may learn certain behaviors well, their performance remains below strong baselines and current LLMs. The results also show that SLMs struggle with retaining meaning and hallucinations. These findings suggest that despite their efficiency advantages, current SLMs are not yet competitive enough with modern LLMs for rewriting, and further advances in training are required for SLMs to close the performance gap between them and today's LLMs.