Zero-shot cross-lingual transfer in instruction tuning of large language models

📄 arXiv: 2402.14778v2 📥 PDF

作者: Nadezhda Chirkova, Vassilina Nikoulina

分类: cs.CL, cs.AI

发布日期: 2024-02-22 (更新: 2024-04-22)

💡 一句话要点

研究零样本跨语言迁移以优化大语言模型的指令调优

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 指令调优 跨语言迁移 多语言模型 大语言模型 超参数调优

📋 核心要点

  1. 现有的指令调优方法在多语言环境下的有效性尚未得到充分研究，限制了其应用范围。
  2. 本文提出在仅使用英语数据进行指令调优的基础上，探索零样本跨语言迁移的可能性，强调多语言性在超参数调优中的重要性。
  3. 实验结果表明，经过英语训练的LLMs能够在其他语言中生成有效响应，但在事实准确性和流畅性上仍存在一定问题。

📝 摘要（中文）

指令调优（IT）广泛用于教导预训练的大语言模型（LLMs）遵循任意指令，但在多语言环境下的研究相对不足。本文系统研究了零样本跨语言迁移在IT中的应用，即在仅使用英语数据进行指令调优后，测试模型在其他语言的用户提示下的表现。我们强调评估多语言指令遵循中模型响应的各个方面的重要性，并探讨不同模型配置选择的影响。研究发现，即使所有训练阶段以英语为中心，只要在超参数调优中考虑多语言性，并且IT数据量足够大，跨语言迁移仍然能够成功实现。经过英语训练的LLMs能够生成正确语言、全面且有帮助的响应，但在事实准确性上存在不足，并且偶尔出现流畅性错误。

🔬 方法详解

问题定义：本文旨在解决指令调优在多语言环境下的有效性不足的问题，现有方法主要集中于英语数据，缺乏对其他语言的适应性。

核心思路：论文提出在仅使用英语数据进行指令调优的情况下，探索如何实现零样本跨语言迁移，强调在超参数调优中考虑多语言性的重要性。

技术框架：研究采用了系统的实验设计，首先在英语数据上进行指令调优，然后在多种语言的用户提示上进行测试，评估模型的响应质量。

关键创新：最重要的创新在于证明了即使在英语中心的训练框架下，跨语言迁移仍然可以成功实现，只要在超参数调优中考虑多语言性。

关键设计：研究中对超参数进行了细致的调优，确保模型在多语言环境中能够生成准确且流畅的响应，同时也关注了模型的事实准确性和流畅性错误。

📊 实验亮点

实验结果显示，经过英语训练的LLMs在其他语言的指令遵循任务中表现出色，能够生成正确且有帮助的响应。尽管存在事实准确性低和流畅性错误的问题，但整体性能仍显著优于传统方法，展示了跨语言迁移的潜力。

🎯 应用场景

该研究的潜在应用领域包括多语言客服系统、跨语言信息检索和全球化内容生成等。通过优化大语言模型的指令调优，能够提升其在多语言环境中的适应性和实用性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Instruction tuning (IT) is widely used to teach pretrained large language models (LLMs) to follow arbitrary instructions, but is under-studied in multilingual settings. In this work, we conduct a systematic study of zero-shot cross-lingual transfer in IT, when an LLM is instruction-tuned on English-only data and then tested on user prompts in other languages. We advocate for the importance of evaluating various aspects of model responses in multilingual instruction following and investigate the influence of different model configuration choices. We find that cross-lingual transfer does happen successfully in IT even if all stages of model training are English-centric, but only if multiliguality is taken into account in hyperparameter tuning and with large enough IT data. English-trained LLMs are capable of generating correct-language, comprehensive and helpful responses in other languages, but suffer from low factuality and may occasionally have fluency errors.