Investigating Multilingual Instruction-Tuning: Do Polyglot Models Demand for Multilingual Instructions?
作者: Alexander Arno Weber, Klaudia Thellmann, Jan Ebert, Nicolas Flores-Herr, Jens Lehmann, Michael Fromm, Mehdi Ali
分类: cs.CL
发布日期: 2024-02-21 (更新: 2024-10-10)
备注: Accepted for EMNLP 2024 (Main), 27 pages, 8 figures
💡 一句话要点
研究多语言指令调优以提升跨语言模型性能
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多语言模型 指令调优 跨语言能力 平行语料 大语言模型 人类评估 性能提升
📋 核心要点
- 现有的多语言模型在不同语言环境中的指令跟随能力不足，难以满足实际应用需求。
- 本研究通过在平行指令调优数据集上对多语言模型进行调优，探索不同语言组合对模型性能的影响。
- 实验结果显示，平行语料的指令调优显著提升了模型的跨语言指令跟随能力，最高提升9.9%。
📝 摘要（中文）
本研究首次系统性地探讨了多语言模型在不同语言组成下的指令调优性能，旨在将多语言预训练大语言模型转变为更为流畅和实用的助手。通过在平行指令调优基准上对多种印欧语系的语言进行实验，我们发现，相较于单语语料，平行语料的指令调优能够提升跨语言指令跟随能力，最高可达9.9%。此外，我们的研究还表明，表面对齐假设并不普遍适用，7B参数的多语言模型需要大规模的指令调优数据集。最后，我们通过人类注释研究，分析了人类评估与基于GPT-4的评估在多语言聊天场景中的一致性。
🔬 方法详解
问题定义：本研究旨在解决多语言模型在不同语言环境下的指令跟随能力不足的问题。现有方法主要依赖单语语料，导致跨语言应用效果不佳。
核心思路：通过在平行指令调优数据集上进行调优，探索不同语言组合对模型性能的影响，以提升多语言模型的指令跟随能力。
技术框架：研究采用了中型和大型多语言大语言模型，分别在平行指令调优数据集上进行训练。实验设计包括对比单语和多语调优效果，评估模型在多语言环境中的表现。
关键创新：本研究的创新点在于首次系统性地验证了平行语料在多语言指令调优中的有效性，并揭示了表面对齐假设的不适用性。
关键设计：在实验中，模型参数设置为7B，使用了大规模的指令调优数据集，损失函数采用了适合多语言任务的交叉熵损失，确保了模型在多语言环境中的有效学习。
🖼️ 关键图片
📊 实验亮点
实验结果表明，平行指令调优相比单语调优在跨语言指令跟随能力上提升了最高9.9%。此外，7B参数的多语言模型在大规模指令调优数据集上表现出显著的性能提升，挑战了传统的表面对齐假设。
🎯 应用场景
该研究的成果可广泛应用于多语言智能助手、跨语言信息检索和多语言教育等领域。通过提升多语言模型的指令跟随能力，能够更好地服务于全球用户，促进不同语言文化之间的交流与理解。未来，随着更多语言的加入，模型的适用性和实用价值将进一步提升。
📄 摘要（原文）
The adaption of multilingual pre-trained LLMs into eloquent and helpful assistants is essential to facilitate their use across different language regions. In that spirit, we are the first to conduct an extensive study of the performance of multilingual models instruction-tuned on different language compositions on parallel instruction-tuning benchmarks across a selection of the most spoken Indo-European languages. We systematically examine the effects of language and instruction dataset size on a mid-sized and a large, multilingual LLMs by instruction-tuning them on parallel instruction-tuning datasets. Our results demonstrate that instruction-tuning on parallel instead of monolingual corpora benefits cross-lingual instruction following capabilities by up to 9.9%. Furthermore, we show that the Superficial Alignment Hypothesis does not hold in general, as the investigated multilingual 7B parameter model presents a counter-example requiring large-scale instruction-tuning datasets. Finally, we conduct a human annotation study to understand the alignment between human-based and GPT-4-based evaluation within multilingual chat scenarios.