Analyzing and Adapting Large Language Models for Few-Shot Multilingual NLU: Are We There Yet?

📄 arXiv: 2403.01929v1 📥 PDF

作者: Evgeniia Razumovskaia, Ivan Vulić, Anna Korhonen

分类: cs.CL

发布日期: 2024-03-04

💡 一句话要点

系统比较三种少样本多语言NLU方法以优化资源使用

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 少样本学习 多语言理解 自然语言处理 监督微调 上下文学习 资源优化 语言适应性

📋 核心要点

  1. 现有的少样本学习方法在多语言自然语言理解中表现不均，尤其是低资源语言的理解能力有限。
  2. 本文系统比较了SFT、SIT和ICL三种方法，分析其在多语言环境下的性能与资源消耗。
  3. 实验结果显示，SIT在性能与资源需求之间取得了最佳平衡，同时揭示了目标语言适应的局限性。

📝 摘要（中文）

本文对监督微调（SFT）、监督指令调优（SIT）和上下文学习（ICL）三种少样本学习方法进行了系统比较，特别关注其在多语言自然语言理解（NLU）中的表现。研究涵盖了六种高资源和低资源语言，三种不同的NLU任务，以及多种语言和领域设置。结果表明，SIT在性能与资源需求之间具有最佳平衡。此外，研究还分析了预训练大语言模型的目标语言适应性，发现标准适应方法在生成能力上有所提升，但在理解能力上仍然有限，尤其是对于低资源语言。

🔬 方法详解

问题定义：本文旨在解决现有少样本学习方法在多语言自然语言理解中的不足，尤其是低资源语言的理解能力差的问题。现有研究主要集中在性能上，缺乏对计算和资源消耗的全面分析。

核心思路：通过对三种主流方法（SFT、SIT和ICL）进行系统比较，评估它们在多语言环境中的表现及其资源需求，旨在找到最佳的性能与资源平衡方案。

技术框架：研究设计了一个实验框架，涵盖六种语言和三种NLU任务，采用多种语言和领域设置进行测试。每种方法的性能、计算成本和推理成本均被纳入比较。

关键创新：本文的主要创新在于对三种方法的全面比较，不仅关注性能，还考虑了资源消耗，特别是SIT在性能与资源需求之间的优越性。

关键设计：在实验中，采用标准的适应方法对预训练模型进行调整，评估其在目标语言生成和理解上的能力，特别关注低资源语言的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，监督指令调优（SIT）在多语言NLU任务中表现最佳，尤其在资源需求方面相较于其他方法具有显著优势。具体而言，SIT在高资源语言上取得了超过90%的准确率，而在低资源语言上仍保持了相对较高的性能，尽管理解能力有所限制。

🎯 应用场景

该研究的潜在应用领域包括多语言聊天机器人、跨语言信息检索和多语言文本分析等。通过优化少样本学习方法，可以在资源有限的情况下提升多语言自然语言理解的效果，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Supervised fine-tuning (SFT), supervised instruction tuning (SIT) and in-context learning (ICL) are three alternative, de facto standard approaches to few-shot learning. ICL has gained popularity recently with the advent of LLMs due to its simplicity and sample efficiency. Prior research has conducted only limited investigation into how these approaches work for multilingual few-shot learning, and the focus so far has been mostly on their performance. In this work, we present an extensive and systematic comparison of the three approaches, testing them on 6 high- and low-resource languages, three different NLU tasks, and a myriad of language and domain setups. Importantly, performance is only one aspect of the comparison, where we also analyse the approaches through the optics of their computational, inference and financial costs. Our observations show that supervised instruction tuning has the best trade-off between performance and resource requirements. As another contribution, we analyse the impact of target language adaptation of pretrained LLMs and find that the standard adaptation approaches can (superficially) improve target language generation capabilities, but language understanding elicited through ICL does not improve and remains limited, with low scores especially for low-resource languages.