F-Eval: Assessing Fundamental Abilities with Refined Evaluation Methods

📄 arXiv: 2401.14869v2 📥 PDF

作者: Yu Sun, Keyu Chen, Shujie Wang, Peiji Li, Qipeng Guo, Hang Yan, Xipeng Qiu, Xuanjing Huang, Dahua Lin

分类: cs.CL

发布日期: 2024-01-26 (更新: 2024-08-20)

备注: ACL 2024

💡 一句话要点

提出F-Eval以评估大型语言模型的基本能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 评估方法 基本能力 双语评估 自然语言处理 主观任务 客观任务

📋 核心要点

  1. 现有评估方法主要集中在指令跟随能力，忽视了模型在预训练阶段的基本能力评估。
  2. F-Eval通过设计多种任务类型，提供了一种新的双语评估基准，涵盖表达、常识和逻辑能力。
  3. 实验结果表明，F-Eval的评估方法在相关性和区分度上优于其他评估者，显示出更强的评估能力。

📝 摘要（中文）

大型语言模型（LLMs）因其卓越的性能而备受关注，然而现有的评估基准主要集中在指令跟随能力上，忽视了预训练阶段所展现的基本能力。传统的主观评估方法依赖于API模型评分，但在缺乏参考的情况下，大型模型在辨别细微差异方面能力有限。为此，本文提出了F-Eval，一个双语评估基准，用于评估表达、常识和逻辑等基本能力。F-Eval的任务包括多项选择客观任务、开放式客观任务、基于参考的主观任务和无参考的主观任务。我们为无参考的主观任务设计了新的评估方法，作为API模型评分的替代方案。对13个先进LLMs的评估结果显示，我们的方法具有更高的相关系数和更大的区分度，期待F-Eval能促进对LLMs基本能力的研究。

🔬 方法详解

问题定义：本文旨在解决现有评估方法无法全面评估大型语言模型基本能力的问题，尤其是在缺乏参考的情况下，模型辨别细微差异的能力不足。

核心思路：F-Eval通过引入多样化的评估任务，特别是无参考的主观任务，来全面评估模型的基本能力，旨在弥补传统评估方法的不足。

技术框架：F-Eval的整体架构包括多项选择任务、开放式任务、基于参考的主观任务和无参考的主观任务，形成一个多维度的评估体系。

关键创新：最重要的创新在于为无参考的主观任务设计了新的评估方法，这些方法能够有效替代传统的API模型评分，提升评估的准确性和可靠性。

关键设计：在设计中，F-Eval考虑了不同模型的规模、维度和归一化方法，确保评估结果的有效性和一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，F-Eval的评估方法在与其他评估者的比较中，相关系数显著提高，区分度也更大，表明其在评估大型语言模型基本能力方面的有效性。具体而言，F-Eval在13个先进LLMs的评估中展现出更优的性能，提升幅度明显。

🎯 应用场景

F-Eval的设计可以广泛应用于大型语言模型的研究与开发，帮助研究人员更全面地理解模型的基本能力，推动自然语言处理领域的进步。此外，该评估基准也可用于教育和培训，提升模型的实际应用效果。

📄 摘要（原文）

Large language models (LLMs) garner significant attention for their unprecedented performance, leading to an increasing number of researches evaluating LLMs. However, these evaluation benchmarks are limited to assessing the instruction-following capabilities, overlooking the fundamental abilities that emerge during the pre-training stage. Previous subjective evaluation methods mainly reply on scoring by API models. However, in the absence of references, large models have shown limited ability to discern subtle differences. To bridge the gap, we propose F-Eval, a bilingual evaluation benchmark to evaluate the fundamental abilities, including expression, commonsense and logic. The tasks in F-Eval include multi-choice objective tasks, open-ended objective tasks, reference-based subjective tasks and reference-free subjective tasks. For reference-free subjective tasks, we devise new evaluation methods, serving as alternatives to scoring by API models. We conduct evaluations on 13 advanced LLMs. Results show that our evaluation methods show higher correlation coefficients and larger distinction than other evaluators. Additionally, we discuss the influence of different model sizes, dimensions, and normalization methods. We anticipate that F-Eval will facilitate the study of LLMs' fundamental abilities.