CIF-Bench: A Chinese Instruction-Following Benchmark for Evaluating the Generalizability of Large Language Models

📄 arXiv: 2402.13109v2 📥 PDF

作者: Yizhi LI, Ge Zhang, Xingwei Qu, Jiali Li, Zhaoqun Li, Zekun Wang, Hao Li, Ruibin Yuan, Yinghao Ma, Kai Zhang, Wangchunshu Zhou, Yiming Liang, Lei Zhang, Lei Ma, Jiajun Zhang, Zuowen Li, Stephen W. Huang, Chenghua Lin, Jie Fu

分类: cs.CL, cs.AI

发布日期: 2024-02-20 (更新: 2024-06-04)

备注: Camera-ready version for ACL 2024. Project page at https://yizhilll.github.io/CIF-Bench/

💡 一句话要点

提出CIF-Bench以评估大型语言模型在中文任务中的泛化能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 中文处理 指令遵循 泛化能力 自然语言处理 数据集构建 文化敏感性

📋 核心要点

  1. 现有大型语言模型在中文等低资源语言任务中的有效性不足，且评估结果受到数据泄露的影响，导致泛化能力受到质疑。
  2. 本文提出CIF-Bench基准，通过150个任务和15,000个输入输出对，专门评估LLMs在中文中的零-shot 泛化能力。
  3. 对28个LLMs的评估结果显示，最佳模型仅得分52.9%，揭示了当前模型在中文任务中的局限性，为未来研究设定了新标准。

📝 摘要（中文）

大型语言模型（LLMs）的进步提升了其在多种自然语言处理（NLP）任务中的泛化能力，尤其是在遵循指令的情况下。然而，这些模型在低资源语言如中文中的有效性常常减弱，且由于数据泄露导致的评估偏差，使其在新语言领域的真实泛化能力受到质疑。为此，本文提出了中文指令遵循基准（CIF-Bench），旨在评估LLMs在中文语言中的零-shot 泛化能力。CIF-Bench包含150个任务和15,000个输入输出对，由母语者开发，以测试复杂推理和中文文化细微差别。为减少数据污染，我们仅公开一半的数据集，其余部分保持私密，并引入多样化的指令以最小化评分方差，总计45,000个数据实例。对28个选定LLMs的评估显示出明显的性能差距，最佳模型仅得分52.9%，突显了LLMs在较不熟悉的语言和任务背景下的局限性。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在中文任务中的泛化能力不足的问题，现有方法在低资源语言的评估中存在数据泄露和偏差，影响了结果的可靠性。

核心思路：通过构建CIF-Bench基准，设计150个任务和15,000个输入输出对，专注于中文语言的复杂推理和文化细节，以评估LLMs的零-shot 泛化能力。

技术框架：CIF-Bench的整体架构包括任务设计、数据收集和评估模块。任务涵盖20个类别，数据由母语者开发，确保文化和语言的准确性。

关键创新：CIF-Bench的创新点在于其专门针对中文的设计，采用多样化的指令以减少评分方差，并仅公开一半数据以防止污染，这在现有评估中尚属首次。

关键设计：在数据集构建中，设置了多样化的任务和指令，确保涵盖复杂推理和文化细节，同时采用了严格的数据管理策略以减少潜在的偏差。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，28个评估的LLMs在CIF-Bench上表现不佳，最佳模型仅得分52.9%。这一结果突显了当前模型在处理中文任务时的局限性，为未来的研究提供了明确的改进方向。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、教育技术和跨文化交流等。CIF-Bench为评估和改进大型语言模型在中文及其他低资源语言中的表现提供了标准，推动了更具适应性和文化敏感性的模型开发，具有重要的实际价值和未来影响。

📄 摘要（原文）

The advancement of large language models (LLMs) has enhanced the ability to generalize across a wide range of unseen natural language processing (NLP) tasks through instruction-following. Yet, their effectiveness often diminishes in low-resource languages like Chinese, exacerbated by biased evaluations from data leakage, casting doubt on their true generalizability to new linguistic territories. In response, we introduce the Chinese Instruction-Following Benchmark (CIF-Bench), designed to evaluate the zero-shot generalizability of LLMs to the Chinese language. CIF-Bench comprises 150 tasks and 15,000 input-output pairs, developed by native speakers to test complex reasoning and Chinese cultural nuances across 20 categories. To mitigate data contamination, we release only half of the dataset publicly, with the remainder kept private, and introduce diversified instructions to minimize score variance, totaling 45,000 data instances. Our evaluation of 28 selected LLMs reveals a noticeable performance gap, with the best model scoring only 52.9%, highlighting the limitations of LLMs in less familiar language and task contexts. This work not only uncovers the current limitations of LLMs in handling Chinese language tasks but also sets a new standard for future LLM generalizability research, pushing towards the development of more adaptable, culturally informed, and linguistically diverse models.