Are LLMs Good Text Diacritizers? An Arabic and Yorùbá Case Study

📄 arXiv: 2506.11602v1 📥 PDF

作者: Hawau Olamide Toyin, Samar M. Magdy, Hanan Aldarmaki

分类: cs.CL, cs.AI

发布日期: 2025-06-13

💡 一句话要点

提出MultiDiac数据集以提升阿拉伯语和约鲁巴语的文本加音效果

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 文本加音 阿拉伯语 约鲁巴语 多语言数据集 LoRA微调 自然语言处理 机器学习

📋 核心要点

  1. 现有的文本加音方法在处理阿拉伯语和约鲁巴语时存在准确性不足和歧义处理不佳的问题。
  2. 本研究通过引入MultiDiac数据集和评估多种LLMs，探索了大型语言模型在文本加音中的应用潜力。
  3. 实验结果表明，许多现成的LLMs在加音性能上超越了专门模型，且微调可显著改善小模型的表现。

📝 摘要（中文）

本研究探讨了大型语言模型（LLMs）在阿拉伯语和约鲁巴语文本加音中的有效性。为进行严格评估，我们引入了一个新颖的多语言数据集MultiDiac，涵盖了多种加音歧义样本。我们评估了14个不同规模、可访问性和语言覆盖范围的LLMs，并将其与6个专门的加音模型进行基准测试。此外，我们使用LoRA对四个小型开源模型进行了微调。结果显示，许多现成的LLMs在阿拉伯语和约鲁巴语的表现优于专门的加音模型，但较小的模型存在幻觉现象。对小数据集的微调有助于提升加音性能并降低幻觉率。

🔬 方法详解

问题定义：本研究旨在解决阿拉伯语和约鲁巴语文本加音的准确性和歧义处理不足的问题。现有的专门加音模型在这两种语言中表现不佳，尤其是在处理复杂的加音歧义时。

核心思路：论文的核心思路是利用大型语言模型（LLMs）进行文本加音，并通过引入一个新的多语言数据集MultiDiac来评估其效果。这种方法旨在利用LLMs的强大语言理解能力来改善加音的准确性。

技术框架：整体架构包括数据集构建、模型选择、基准测试和微调四个主要模块。首先构建MultiDiac数据集，然后选择14个不同的LLMs进行评估，最后与6个专门模型进行对比。

关键创新：最重要的技术创新点在于引入了MultiDiac数据集，该数据集专门设计用于捕捉加音歧义，提供了丰富的样本用于评估LLMs的性能。这与现有方法的本质区别在于数据集的多样性和针对性。

关键设计：在实验中，使用LoRA对四个小型开源模型进行了微调，设置了特定的超参数以优化加音性能。损失函数的选择和模型架构的调整也是关键设计因素，确保了模型在小数据集上的有效学习。

📊 实验亮点

实验结果显示，许多现成的LLMs在阿拉伯语和约鲁巴语的加音任务中表现优于专门的加音模型，尤其是在处理复杂的加音歧义时。微调后的模型在小数据集上的加音准确率提升显著，幻觉率也有所降低，表明微调策略的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器翻译和教育技术等。通过提升阿拉伯语和约鲁巴语的文本加音效果，可以改善语言学习工具的准确性，促进这两种语言的数字化和信息获取。此外，研究成果也可为其他语言的文本处理提供借鉴。

📄 摘要（原文）

We investigate the effectiveness of large language models (LLMs) for text diacritization in two typologically distinct languages: Arabic and Yoruba. To enable a rigorous evaluation, we introduce a novel multilingual dataset MultiDiac, with diverse samples that capture a range of diacritic ambiguities. We evaluate 14 LLMs varying in size, accessibility, and language coverage, and benchmark them against 6 specialized diacritization models. Additionally, we fine-tune four small open-source models using LoRA for Yoruba. Our results show that many off-the-shelf LLMs outperform specialized diacritization models for both Arabic and Yoruba, but smaller models suffer from hallucinations. Fine-tuning on a small dataset can help improve diacritization performance and reduce hallucination rates.