Assessing Translation capabilities of Large Language Models involving English and Indian Languages

📄 arXiv: 2311.09216v1 📥 PDF

作者: Vandan Mujadia, Ashok Urlana, Yash Bhaskar, Penumalla Aditya Pavani, Kukkapalli Shravya, Parameswari Krishnamurthy, Dipti Misra Sharma

分类: cs.CL, cs.AI

发布日期: 2023-11-15

💡 一句话要点

评估大型语言模型在英印语言翻译中的能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 机器翻译 多语言能力 微调方法 自然语言处理 低资源语言 LLaMA模型

📋 核心要点

  1. 现有的翻译模型在处理多种印度语言时表现不佳，尤其是对于较少代表的语言。
  2. 本研究通过微调大型语言模型，尤其是基于LLaMA的模型，来提升其在英印语言翻译中的表现。
  3. 实验结果显示，经过微调的LLaMA-13b模型在多个测试集上取得了显著的BLEU和CHRF分数，展示了其翻译能力的提升。

📝 摘要（中文）

生成型大型语言模型（LLMs）在多种自然语言处理任务中取得了显著进展。本研究旨在通过机器翻译任务探索大型语言模型的多语言能力，涉及英语和22种印度语言。我们首先调查了原始大型语言模型的翻译能力，随后探讨了其上下文学习能力。通过使用LoRA等参数高效的微调方法以及全微调，我们识别出基于LLaMA的最佳翻译模型。实验结果显示，使用经过两阶段微调的LLaMA-13b模型在多个测试集上取得了显著的BLEU和CHRF分数，表明大型语言模型在机器翻译中的潜力，尤其是对当前在LLMs中代表性不足的语言。

🔬 方法详解

问题定义：本研究旨在解决大型语言模型在英语与22种印度语言之间翻译能力不足的问题。现有方法在处理多语言翻译时，尤其是对低资源语言的支持较弱。

核心思路：通过对大型语言模型进行参数高效的微调（如LoRA）和全微调，提升其在多语言翻译任务中的表现。研究重点在于探索原始模型的翻译能力及其上下文学习能力。

技术框架：整体流程包括对原始大型语言模型的评估、上下文学习能力的探讨，以及通过两阶段微调方法优化模型性能。主要模块包括数据预处理、模型训练和性能评估。

关键创新：研究识别出基于LLaMA的模型在英印语言翻译任务中的最佳表现，展示了大型语言模型在低资源语言翻译中的潜力。与现有方法相比，采用了更为高效的微调策略。

关键设计：在微调过程中，采用了BLEU和CHRF作为主要评估指标，设置了适当的超参数以优化模型性能，确保模型在不同测试集上的一致性和可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，经过两阶段微调的LLaMA-13b模型在多个测试集上取得了平均BLEU分数为13.42至16.65，CHRF分数为36.71至46.99，表现出显著的翻译能力提升，尤其是在低资源语言的翻译任务中。

🎯 应用场景

该研究的成果可广泛应用于多语言翻译系统，尤其是在印度等多语言国家的实际翻译场景中。通过提升大型语言模型的翻译能力，可以更好地满足不同语言用户的需求，促进文化交流与信息共享。未来，该研究还可能推动对其他低资源语言的研究与应用。

📄 摘要（原文）

Generative Large Language Models (LLMs) have achieved remarkable advancements in various NLP tasks. In this work, our aim is to explore the multilingual capabilities of large language models by using machine translation as a task involving English and 22 Indian languages. We first investigate the translation capabilities of raw large language models, followed by exploring the in-context learning capabilities of the same raw models. We fine-tune these large language models using parameter efficient fine-tuning methods such as LoRA and additionally with full fine-tuning. Through our study, we have identified the best performing large language model for the translation task involving LLMs, which is based on LLaMA. Our results demonstrate significant progress, with average BLEU scores of 13.42, 15.93, 12.13, 12.30, and 12.07, as well as CHRF scores of 43.98, 46.99, 42.55, 42.42, and 45.39, respectively, using 2-stage fine-tuned LLaMA-13b for English to Indian languages on IN22 (conversational), IN22 (general), flores200-dev, flores200-devtest, and newstest2019 testsets. Similarly, for Indian languages to English, we achieved average BLEU scores of 14.03, 16.65, 16.17, 15.35 and 12.55 along with chrF scores of 36.71, 40.44, 40.26, 39.51, and 36.20, respectively, using fine-tuned LLaMA-13b on IN22 (conversational), IN22 (general), flores200-dev, flores200-devtest, and newstest2019 testsets. Overall, our findings highlight the potential and strength of large language models for machine translation capabilities, including for languages that are currently underrepresented in LLMs.