Measuring Taiwanese Mandarin Language Understanding

📄 arXiv: 2403.20180v1 📥 PDF

作者: Po-Heng Chen, Sijia Cheng, Wei-Lin Chen, Yen-Ting Lin, Yun-Nung Chen

分类: cs.CL

发布日期: 2024-03-29

备注: Preprint. Under review

💡 一句话要点

提出TMLU评估套件以解决台湾普通话LLM评估不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 评估方法 台湾普通话 推理能力 开放权重模型 传统中文 基准测试

📋 核心要点

  1. 现有的语言模型评估方法在传统中文，特别是台湾普通话的应用上存在明显不足，缺乏针对性的基准。
  2. 本研究提出TMLU评估套件，涵盖多领域主题，结合链式思维的少量示例，旨在全面评估LLMs的推理能力。
  3. 实验结果显示，开放权重模型在台湾普通话的表现明显低于简体中文模型，表明该领域有待提升的潜力。

📝 摘要（中文）

近年来，大型语言模型（LLMs）的评估引起了广泛关注。本研究专注于在中文背景下评估LLMs，特别是传统中文，这在现有基准中被严重低估。我们提出了TMLU，一个全面的评估套件，旨在评估LLMs在台湾普通话背景下的知识和推理能力。TMLU涵盖了社会科学、STEM、人文学科、台湾特定内容等37个主题，涉及中学到专业水平。此外，我们为每个主题策划了类似思维链的少量示例解释，以促进复杂推理能力的评估。通过对24个先进LLMs进行广泛实验和分析，结果表明，中国的开放权重模型在性能上不及多语言专有模型，而针对台湾普通话的开放权重模型则落后于简体中文模型。这些发现表明有很大的改进空间，并强调了TMLU促进本地化台湾普通话LLMs发展的目标。我们发布了基准和评估脚本，以促进未来研究。

🔬 方法详解

问题定义：本研究旨在解决现有语言模型评估方法在台湾普通话背景下的不足，特别是缺乏针对传统中文的评估基准和方法。

核心思路：论文提出TMLU评估套件，通过设计多样化的主题和链式思维示例，全面评估LLMs的知识和推理能力，以适应台湾普通话的特定需求。

技术框架：TMLU评估套件包括37个主题，覆盖社会科学、STEM、人文学科等领域，评估过程结合了少量示例的推理能力测试，形成一个系统化的评估流程。

关键创新：TMLU的最大创新在于其针对台湾普通话的本地化评估设计，填补了现有评估工具在传统中文领域的空白，尤其是在推理能力的评估上。

关键设计：在评估过程中，采用了多样化的主题设置和链式思维的示例解释，确保评估的全面性和深度，同时对24个先进LLMs进行了系统的实验和分析。

📊 实验亮点

实验结果表明，开放权重模型在台湾普通话的表现明显低于多语言专有模型，且针对台湾普通话的开放权重模型性能落后于简体中文模型，显示出改进的巨大潜力。具体数据未提供，需进一步研究验证。

🎯 应用场景

该研究的潜在应用领域包括教育、语言学习、人工智能助手等。通过提供针对台湾普通话的评估工具，TMLU可以帮助开发更符合本地需求的语言模型，推动相关技术在实际应用中的发展与普及。

📄 摘要（原文）

The evaluation of large language models (LLMs) has drawn substantial attention in the field recently. This work focuses on evaluating LLMs in a Chinese context, specifically, for Traditional Chinese which has been largely underrepresented in existing benchmarks. We present TMLU, a holistic evaluation suit tailored for assessing the advanced knowledge and reasoning capability in LLMs, under the context of Taiwanese Mandarin. TMLU consists of an array of 37 subjects across social science, STEM, humanities, Taiwan-specific content, and others, ranging from middle school to professional levels. In addition, we curate chain-of-thought-like few-shot explanations for each subject to facilitate the evaluation of complex reasoning skills. To establish a comprehensive baseline, we conduct extensive experiments and analysis on 24 advanced LLMs. The results suggest that Chinese open-weight models demonstrate inferior performance comparing to multilingual proprietary ones, and open-weight models tailored for Taiwanese Mandarin lag behind the Simplified-Chinese counterparts. The findings indicate great headrooms for improvement, and emphasize the goal of TMLU to foster the development of localized Taiwanese-Mandarin LLMs. We release the benchmark and evaluation scripts for the community to promote future research.