An Improved Traditional Chinese Evaluation Suite for Foundation Model
作者: Zhi-Rui Tam, Ya-Ting Pai, Yen-Wei Lee, Jun-Da Chen, Wei-Min Chu, Sega Cheng, Hong-Han Shuai
分类: cs.CL
发布日期: 2024-03-04 (更新: 2024-07-11)
💡 一句话要点
提出TMMLU+以解决传统中文理解基准不足问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 传统中文 语言理解 基准测试 多选问答 大语言模型 数据集构建 自然语言处理 教育应用
📋 核心要点
- 现有的传统中文语言理解基准TMMLU存在规模小和主题分布不均的问题，限制了模型的评估和改进。
- TMMLU+通过构建一个六倍于TMMLU的新数据集，提供了更全面的传统中文理解评估，涵盖更广泛的主题。
- 实验结果表明，当前的传统中文模型在性能上仍落后于简体中文模型，且未能达到人类的平均水平，显示出进一步研究的必要性。
📝 摘要（中文）
我们提出了TMMLU+，这是一个针对传统中文语言理解的新基准。TMMLU+是一个多选问答数据集，涵盖从小学到专业级别的66个主题，规模是其前身TMMLU的六倍，并且主题分布更加均衡。我们对26个开放权重的中文大语言模型进行了基准测试，结果显示传统中文模型仍落后于简体中文模型，且当前模型在平均分数上未能达到人类表现，表明未来研究需要更深入地探讨社会科学和人文学科。TMMLU+将为未来模型改进指明方向，缩小机器与人类语言能力之间的差距。
🔬 方法详解
问题定义：论文旨在解决传统中文语言理解基准不足的问题，现有的TMMLU数据集规模小且主题分布不均，限制了对模型的全面评估。
核心思路：TMMLU+通过构建一个更大且主题分布更均衡的数据集，旨在提供一个更有效的评估工具，以促进传统中文大语言模型的研究和发展。
技术框架：TMMLU+数据集包含66个主题，涵盖从基础到专业的多层次问题，采用多选问答的形式，整体架构包括数据收集、标注和评估三个主要阶段。
关键创新：TMMLU+的主要创新在于其规模和主题的均衡性，显著提升了对传统中文模型的评估能力，与现有基准相比，提供了更全面的测试环境。
关键设计：在数据集构建中，采用了多样化的题型和难度设置，确保了数据的代表性和挑战性，同时在模型评估中引入了多种压缩度量指标，以便更好地分析模型性能。
🖼️ 关键图片
📊 实验亮点
实验结果显示，传统中文模型在TMMLU+基准测试中仍落后于简体中文模型，且当前模型的平均分数未能达到人类水平，表明在社会科学和人文学科方面仍有待深入研究。TMMLU+的推出将为未来的研究提供明确的方向。
🎯 应用场景
TMMLU+的构建为传统中文的自然语言处理应用提供了重要的基准，能够帮助研究人员和开发者评估和改进大语言模型的性能，尤其是在教育、文化和社会科学等领域的应用。未来，该基准有望推动传统中文处理技术的进步，促进相关应用的发展。
📄 摘要（原文）
We present TMMLU+, a new benchmark designed for Traditional Chinese language understanding. TMMLU+ is a multi-choice question-answering dataset with 66 subjects from elementary to professional level. It is six times larger and boasts a more balanced subject distribution than its predecessor, Taiwan Massive Multitask Language Understanding (TMMLU). We also benchmark closed-source models and 26 open-weight Chinese large language models (LLMs) of parameters ranging from 1.8B to 72B on the proposed TMMLU+. Our findings reveal that (1.) Traditional Chinese models still trail behind their Simplified Chinese counterparts, highlighting a need for more focused advancements in LLMs catering to Traditional Chinese. (2.) Current LLMs still fall short of human performance in average scores, indicating a potential need for future research to delve deeper into social science and humanities subjects. (3.) Among all the tokenization compression metrics examined, we identify that only the fertility score uniquely demonstrates strong correlations with our benchmark results. We foresee that TMMLU+ will pinpoint areas for future model improvement, thereby narrowing the gap between machine and human linguistic capabilities and supporting researchers in developing Traditional Chinese LLMs. Our dataset, along with the benchmark source code, is accessible at huggingface.co/datasets/ikala/tmmluplus.