Fumbling in Babel: An Investigation into ChatGPT's Language Identification Ability

📄 arXiv: 2311.09696v2 📥 PDF

作者: Wei-Rui Chen, Ife Adebara, Khai Duy Doan, Qisheng Liao, Muhammad Abdul-Mageed

分类: cs.CL

发布日期: 2023-11-16 (更新: 2024-04-08)

备注: Accepted to NAACL 2024 Findings

💡 一句话要点

研究ChatGPT语言识别能力，揭示其在多语言处理中的不足

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言识别 自然语言处理 多语言模型 低资源语言 ChatGPT Babel-670 性能评估

📋 核心要点

  1. 当前大型语言模型在语言识别能力上存在显著不足，尤其是在低资源语言的处理上。
  2. 本文通过构建Babel-670基准数据集，系统性地评估ChatGPT的语言识别能力，探索其在不同条件下的表现。
  3. 实验结果表明，ChatGPT在识别某些语言时表现不佳，尤其是非洲语言，提示其在多语言服务上的局限性。

📝 摘要（中文）

ChatGPT作为一种强大的自然语言处理工具，能够执行多种任务。然而，它能够处理的语言范围仍然不明。为此，本文调查了ChatGPT的语言识别能力，构建了包含670种语言的基准数据集Babel-670，涵盖24个语言家族。研究了ChatGPT（GPT-3.5和GPT-4）在零样本和少样本条件下识别语言名称和代码的能力。结果显示，与小型微调的语言识别工具相比，ChatGPT在某些语言（如非洲语言）上的表现较差，表明当前的大型语言模型在服务多样化社区方面仍需进一步发展。

🔬 方法详解

问题定义：本文旨在解决ChatGPT在语言识别能力上的不足，尤其是在低资源语言的识别上。现有方法未能充分揭示大型语言模型在多语言处理中的局限性。

核心思路：通过构建包含670种语言的Babel-670基准数据集，系统评估ChatGPT的语言识别能力，探索其在不同条件下的表现，以揭示其潜在的不足之处。

技术框架：研究分为几个主要阶段：首先，构建Babel-670数据集；其次，测试ChatGPT在零样本和少样本条件下的语言识别能力；最后，比较其与小型微调工具的性能差异。

关键创新：最重要的创新点在于系统性地评估大型语言模型在多语言识别中的表现，尤其是对低资源语言的处理能力，与现有方法相比，提供了更全面的视角。

关键设计：在实验中，设置了不同的样本条件（零样本和少样本），并对比了ChatGPT与其他微调语言识别工具的性能，关注其在特定语言（如非洲语言）上的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ChatGPT在识别670种语言时的整体表现不如小型微调的语言识别工具，尤其是在非洲语言的识别上表现较差，提示其在多语言服务中的局限性。这一发现强调了大型语言模型在多样化社区服务中的进一步发展需求。

🎯 应用场景

该研究的潜在应用领域包括多语言翻译、跨文化交流和全球化产品的本地化等。通过提升语言识别能力，ChatGPT可以更好地服务于多样化的用户群体，促进不同语言之间的理解与沟通，具有重要的实际价值和未来影响。

📄 摘要（原文）

ChatGPT has recently emerged as a powerful NLP tool that can carry out a variety of tasks. However, the range of languages ChatGPT can handle remains largely a mystery. To uncover which languages ChatGPT `knows', we investigate its language identification (LID) abilities. For this purpose, we compile Babel-670, a benchmark comprising 670 languages representing 24 language families spoken in five continents. Languages in Babel-670 run the gamut from the very high-resource to the very low-resource. We then study ChatGPT's (both GPT-3.5 and GPT-4) ability to (i) identify language names and language codes (ii) under zero- and few-shot conditions (iii) with and without provision of a label set. When compared to smaller finetuned LID tools, we find that ChatGPT lags behind. For example, it has poor performance on African languages. We conclude that current large language models would benefit from further development before they can sufficiently serve diverse communities.