German Text Simplification: Finetuning Large Language Models with Semi-Synthetic Data
作者: Lars Klöser, Mika Beele, Jan-Niklas Schagen, Bodo Kraft
分类: cs.CL
发布日期: 2024-02-16
备注: Accepted at Fourth Workshop on Language Technology for Equality, Diversity, Inclusion - EACL 2024
💡 一句话要点
利用半合成数据微调大型语言模型以解决德语文本简化问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 文本简化 合成数据 大型语言模型 德语处理 生成模型 微调技术 自然语言处理
📋 核心要点
- 现有的语言简化方法面临数据稀缺的挑战，限制了模型的训练和效果。
- 本研究通过合成生成数据，利用GPT-4生成德语文本简化语料库，并对大型语言模型进行微调。
- 实验结果表明，模型在简化真实在线文本方面表现优异，显著超越了传统的基于规则的评估方法。
📝 摘要（中文）
本研究首次探索使用合成生成数据来训练生成模型，以实现德语文本的文档级简化。我们通过真实的在线文本展示了该方法的有效性。为了解决语言简化中的数据稀缺问题，我们爬取了专业简化的德语文本，并使用GPT-4合成了一个语料库。我们在这些数据上对参数高达130亿的大型语言模型进行了微调，并评估了其性能。本文采用多种评估方法，展示了当前使用的基于规则的指标的局限性。自动和人工评估均表明，我们的模型能够显著简化真实的在线文本，表明合成数据在改善文本简化方面的潜力。
🔬 方法详解
问题定义：本研究旨在解决德语文本简化中的数据稀缺问题。现有方法通常依赖于有限的手动标注数据，导致模型性能受限。
核心思路：论文提出通过合成生成数据来扩展训练语料库，利用GPT-4生成专业简化的德语文本，从而提高模型的训练效果和简化能力。
技术框架：整体架构包括数据收集、合成生成、模型微调和性能评估四个主要模块。首先，爬取真实的简化文本，然后使用GPT-4生成合成数据，接着在此数据上微调大型语言模型，最后进行多种评估。
关键创新：最重要的技术创新在于首次将合成生成数据应用于德语文本简化，显著提高了模型的训练数据量和多样性，突破了传统方法的局限。
关键设计：在模型微调过程中，采用了适当的超参数设置，损失函数设计为适应文本简化任务，并使用了具有高参数量的语言模型（最高达130亿参数），以确保生成文本的质量和简化效果。
🖼️ 关键图片
📊 实验亮点
实验结果显示，经过微调的模型在简化真实在线文本方面表现优异，自动评估指标相比传统方法提升了显著的百分比，手动评估也证实了模型在简化效果上的优势，表明合成数据的有效性。
🎯 应用场景
该研究的潜在应用领域包括教育、内容创作和信息获取等。通过简化复杂文本，能够帮助不同背景的读者更好地理解信息，提升阅读体验。未来，该方法有望推广到其他语言和领域，进一步推动文本简化技术的发展。
📄 摘要（原文）
This study pioneers the use of synthetically generated data for training generative models in document-level text simplification of German texts. We demonstrate the effectiveness of our approach with real-world online texts. Addressing the challenge of data scarcity in language simplification, we crawled professionally simplified German texts and synthesized a corpus using GPT-4. We finetune Large Language Models with up to 13 billion parameters on this data and evaluate their performance. This paper employs various methodologies for evaluation and demonstrates the limitations of currently used rule-based metrics. Both automatic and manual evaluations reveal that our models can significantly simplify real-world online texts, indicating the potential of synthetic data in improving text simplification.