Mitigating Language-Level Performance Disparity in mPLMs via Teacher Language Selection and Cross-lingual Self-Distillation

📄 arXiv: 2404.08491v1 📥 PDF

作者: Haozhe Zhao, Zefan Cai, Shuzheng Si, Liang Chen, Yufeng He, Kaikai An, Baobao Chang

分类: cs.CL, cs.AI

发布日期: 2024-04-12

备注: NAACL 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出ALSACE以解决多语言预训练模型的性能差异问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多语言预训练模型 性能差异 知识蒸馏 跨语言学习 自然语言处理 低资源语言 教师语言选择 自蒸馏

📋 核心要点

  1. 现有方法在缩小多语言预训练模型的性能差异时，依赖于耗时的标注多语言数据，且效果有限。
  2. 本文提出ALSACE，通过利用表现良好的语言的知识来指导表现不佳的语言，避免了对额外标注数据的需求。
  3. 实验结果显示，ALSACE在多种mPLMs上有效降低了语言级性能差异，并在多语言自然语言理解任务中表现出色。

📝 摘要（中文）

大规模多语言预训练语言模型（mPLMs）在跨语言任务上表现出色，但同一mPLM内不同语言之间存在显著的性能差异。以往研究通过多语言数据进行监督微调来缩小这些差距，但获取标注的多语言数据耗时且有限的标注数据仅能封装特定知识。因此，本文提出ALSACE，通过利用表现良好的语言知识来指导表现不佳的语言，从而消除对额外标注多语言数据的需求。实验表明，ALSACE有效缓解了各种mPLMs的语言级性能差异，并在不同的多语言自然语言理解任务中表现出竞争力。

🔬 方法详解

问题定义：本文旨在解决多语言预训练模型（mPLMs）中不同语言之间的性能差异问题。现有方法主要依赖于标注的多语言数据进行微调，获取这些数据既耗时又成本高，且仅能针对特定数据进行知识封装，无法全面提升模型性能。

核心思路：ALSACE的核心思路是通过教师语言选择和跨语言自蒸馏，利用表现良好的语言的知识来指导表现不佳的语言。这种方法设计旨在减少对额外标注数据的依赖，同时提升模型在低资源语言上的表现。

技术框架：ALSACE的整体架构包括教师语言选择模块和自蒸馏模块。教师语言选择模块根据性能选择表现优异的语言作为教师，跨语言自蒸馏模块则将教师语言的知识传递给目标语言。

关键创新：ALSACE的主要创新在于通过教师语言选择和跨语言自蒸馏的结合，有效地利用了多语言模型内部的知识，显著提升了低资源语言的性能。这与传统的依赖标注数据的微调方法有本质区别。

关键设计：在技术细节上，ALSACE采用了特定的损失函数来平衡教师语言和目标语言之间的知识传递，同时在网络结构上进行了优化，以确保知识的有效转移。

📊 实验亮点

实验结果表明，ALSACE在多种mPLMs上有效降低了语言级性能差异，尤其是在低资源语言上表现出显著提升。与基线模型相比，ALSACE在多个多语言自然语言理解任务中均实现了性能的提升，展示了其强大的实用性和有效性。

🎯 应用场景

该研究的潜在应用领域包括多语言自然语言处理任务，如机器翻译、情感分析和信息检索等。通过减少对标注数据的依赖，ALSACE可以在资源有限的语言环境中提升模型性能，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Large-scale multilingual Pretrained Language Models (mPLMs) yield impressive performance on cross-language tasks, yet significant performance disparities exist across different languages within the same mPLM. Previous studies endeavored to narrow these disparities by supervise fine-tuning the mPLMs with multilingual data. However, obtaining labeled multilingual data is time-consuming, and fine-tuning mPLM with limited labeled multilingual data merely encapsulates the knowledge specific to the labeled data. Therefore, we introduce ALSACE to leverage the learned knowledge from the well-performing languages to guide under-performing ones within the same mPLM, eliminating the need for additional labeled multilingual data. Experiments show that ALSACE effectively mitigates language-level performance disparity across various mPLMs while showing the competitive performance on different multilingual NLU tasks, ranging from full resource to limited resource settings. The code for our approach is available at https://github.com/pkunlp-icler/ALSACE.