Towards a Holistic Evaluation of LLMs on Factual Knowledge Recall

📄 arXiv: 2404.16164v1 📥 PDF

作者: Jiaqing Yuan, Lin Pan, Chung-Wei Hang, Jiang Guo, Jiarong Jiang, Bonan Min, Patrick Ng, Zhiguo Wang

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-04-24

💡 一句话要点

提出FACT-BENCH以全面评估LLMs的事实知识回忆能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 事实知识回忆 基准评估 指令调优 模型规模 反事实示例 微调技术

📋 核心要点

  1. 现有大型语言模型在生成内容时常出现事实性错误，导致其输出的可靠性受到质疑。
  2. 本文提出FACT-BENCH基准，系统评估LLMs的事实知识回忆能力，并分析影响因素。
  3. 实验结果显示，未经过指令调优的模型在知识回忆上表现更佳，且模型规模越大，性能越强。

📝 摘要（中文）

大型语言模型（LLMs）在多种自然语言处理任务中表现出色，但生成输出的事实性评估仍然是一个挑战。本文构建了FACT-BENCH基准，涵盖20个领域、134种属性类型和3种答案类型，以评估LLMs从预训练中回忆事实知识的能力。研究发现，指令调优会削弱知识回忆能力，而模型规模的扩大则有助于提升性能。此外，使用反事实示例会显著降低大型模型的事实知识回忆能力。最后，通过对LLaMA-7B进行不同知识设置的微调，发现微调已知知识的效果优于未知和混合知识的微调。该基准将公开发布。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在生成内容时的事实性回忆能力不足的问题。现有方法未能全面评估模型的知识回忆能力，尤其是在面对不同知识类型和流行度时的表现。

核心思路：通过构建FACT-BENCH基准，涵盖多领域和多种属性类型，全面评估LLMs的事实知识回忆能力，并探讨指令调优和模型规模对回忆能力的影响。

技术框架：研究首先构建FACT-BENCH基准，然后对31个模型进行评估，分析其在不同知识设置下的表现。基准包括20个领域和134种属性类型，涵盖不同的知识流行度。

关键创新：本文的主要创新在于提出了FACT-BENCH基准，系统性地评估了LLMs的知识回忆能力，并揭示了指令调优对知识回忆的负面影响。

关键设计：在实验中，使用了不同的知识设置进行微调，特别是对已知知识的微调效果显著优于未知和混合知识的微调。此外，研究还探讨了反事实示例对模型回忆能力的影响。

📊 实验亮点

实验结果表明，未经过指令调优的模型在知识回忆上表现优于指令调优模型，且模型规模越大，性能越强。GPT-4的最佳表现仍与理论上限存在较大差距，反事实示例的使用导致大型模型的知识回忆能力显著下降。

🎯 应用场景

该研究的潜在应用领域包括教育、信息检索和智能助手等场景，能够帮助提升大型语言模型在生成内容时的事实性和可靠性。通过改进模型的知识回忆能力，未来可以更好地支持决策制定和信息传播。

📄 摘要（原文）

Large language models (LLMs) have shown remarkable performance on a variety of NLP tasks, and are being rapidly adopted in a wide range of use cases. It is therefore of vital importance to holistically evaluate the factuality of their generated outputs, as hallucinations remain a challenging issue. In this work, we focus on assessing LLMs' ability to recall factual knowledge learned from pretraining, and the factors that affect this ability. To that end, we construct FACT-BENCH, a representative benchmark covering 20 domains, 134 property types, 3 answer types, and different knowledge popularity levels. We benchmark 31 models from 10 model families and provide a holistic assessment of their strengths and weaknesses. We observe that instruction-tuning hurts knowledge recall, as pretraining-only models consistently outperform their instruction-tuned counterparts, and positive effects of model scaling, as larger models outperform smaller ones for all model families. However, the best performance from GPT-4 still represents a large gap with the upper-bound. We additionally study the role of in-context exemplars using counterfactual demonstrations, which lead to significant degradation of factual knowledge recall for large models. By further decoupling model known and unknown knowledge, we find the degradation is attributed to exemplars that contradict a model's known knowledge, as well as the number of such exemplars. Lastly, we fine-tune LLaMA-7B in different settings of known and unknown knowledge. In particular, fine-tuning on a model's known knowledge is beneficial, and consistently outperforms fine-tuning on unknown and mixed knowledge. We will make our benchmark publicly available.