Zero-Shot Cross-Lingual Sentiment Classification under Distribution Shift: an Exploratory Study
作者: Maarten De Raedt, Semere Kiros Bitew, Fréderic Godin, Thomas Demeester, Chris Develder
分类: cs.CL
发布日期: 2023-11-11
备注: The 3rd Workshop on Multilingual Representation Learning (MRL@EMNLP2023)
💡 一句话要点
提出新方法以解决跨语言情感分类中的分布转移问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 跨语言迁移 情感分类 分布转移 反事实增强 大型语言模型 OOD泛化 多语言模型
📋 核心要点
- 现有的微调语言模型在未见领域的表现脆弱性已被广泛研究，但多语言模型在此方面的研究仍然不足。
- 本文提出了两种新方法，利用大型语言模型的能力，避免了反事实增强数据的高成本标注过程。
- 实验结果显示，反事实数据能提升低资源语言的OOD泛化能力，新方法在准确率上优于传统CAD方法。
📝 摘要（中文）
现有研究已探讨了微调语言模型在未见领域的表现脆弱性，但多语言模型在此方面的研究仍然不足。本文专注于零样本跨语言迁移设置下的OOD测试数据泛化，分析语言和领域转移对模型性能的影响。研究还评估了反事实增强数据（CAD）在提升跨语言设置下OOD泛化能力的有效性，并提出了两种新方法，利用大型语言模型的优势，避免了CAD所需的高成本标注过程。实验结果表明，反事实数据确实能改善低资源语言的OOD泛化，而新提出的方法在亚马逊和餐厅评论数据集上，准确率比CAD提高了最高3.1%。
🔬 方法详解
问题定义：本文旨在解决零样本跨语言迁移设置下，微调语言模型在未见领域（OOD）测试样本上的表现脆弱性。现有方法在多语言模型的OOD泛化能力上存在不足，尤其是在语言和领域转移的情况下。
核心思路：论文提出的核心思路是利用大型语言模型的能力，设计出不依赖于高成本标注的反事实增强数据（CAD）方法，以提升模型在OOD数据上的泛化能力。
技术框架：整体架构包括三个主要模块：1) 训练阶段，使用高资源语言的IMDb电影评论数据训练多语言模型；2) 评估阶段，在13种语言的OOD测试集上进行性能评估；3) 新方法的实施，利用大型语言模型生成反事实数据。
关键创新：最重要的技术创新点在于提出了两种新方法，能够在不依赖于昂贵的标注过程的情况下，利用大型语言模型生成反事实数据，从而提升OOD泛化能力。这与传统的CAD方法形成了鲜明对比。
关键设计：在实验中，选择了LaBSE、mBERT和XLM-R三种多语言模型，使用的损失函数和网络结构均基于现有的语言模型架构，确保了模型在OOD测试集上的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，反事实数据能够有效提升低资源语言的OOD泛化能力。此外，提出的新方法在亚马逊和餐厅评论数据集上，准确率比传统CAD方法提高了最高3.1%，显示出其在实际应用中的潜力。
🎯 应用场景
该研究的潜在应用领域包括跨语言情感分析、社交媒体监测和多语言客户反馈处理等。通过提升模型在不同语言和领域的泛化能力，能够更好地服务于全球化市场，增强用户体验，并为多语言处理提供更为高效的解决方案。
📄 摘要（原文）
The brittleness of finetuned language model performance on out-of-distribution (OOD) test samples in unseen domains has been well-studied for English, yet is unexplored for multi-lingual models. Therefore, we study generalization to OOD test data specifically in zero-shot cross-lingual transfer settings, analyzing performance impacts of both language and domain shifts between train and test data. We further assess the effectiveness of counterfactually augmented data (CAD) in improving OOD generalization for the cross-lingual setting, since CAD has been shown to benefit in a monolingual English setting. Finally, we propose two new approaches for OOD generalization that avoid the costly annotation process associated with CAD, by exploiting the power of recent large language models (LLMs). We experiment with 3 multilingual models, LaBSE, mBERT, and XLM-R trained on English IMDb movie reviews, and evaluate on OOD test sets in 13 languages: Amazon product reviews, Tweets, and Restaurant reviews. Results echo the OOD performance decline observed in the monolingual English setting. Further, (i) counterfactuals from the original high-resource language do improve OOD generalization in the low-resource language, and (ii) our newly proposed cost-effective approaches reach similar or up to +3.1% better accuracy than CAD for Amazon and Restaurant reviews.