ERBench: An Entity-Relationship based Automatically Verifiable Hallucination Benchmark for Large Language Models

📄 arXiv: 2403.05266v3 📥 PDF

作者: Jio Oh, Soyeon Kim, Junseok Seo, Jindong Wang, Ruochen Xu, Xing Xie, Steven Euijong Whang

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-03-08 (更新: 2024-11-03)

💡 一句话要点

提出ERBench以解决大语言模型评估难题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 评估基准 实体-关系模型 完整性约束 多模态问题 自动化评估 自然语言处理

📋 核心要点

  1. 现有的评估基准要么依赖手动构建，要么缺乏对LLMs复杂思维过程的有效评估。
  2. ERBench利用关系数据库的完整性约束，构建复杂问题并验证LLMs的回答，提供了一种新的评估方法。
  3. 实验结果表明，ERBench能够有效评估LLMs的答案正确性及其推理过程，相较于传统方法具有显著提升。

📝 摘要（中文）

大型语言模型（LLMs）在多个应用中取得了前所未有的表现，但评估它们的能力仍然面临挑战。现有基准测试要么是手动构建的，要么是自动生成的，但缺乏评估LLMs复杂思维过程的能力。本文提出ERBench，利用基于实体-关系（ER）模型的现有关系数据库，构建自动可验证的基准测试。ERBench通过完整性约束来构建复杂问题并验证答案，支持数据库的持续评估、多模态问题和多种提示工程技术。实验中，我们使用多个领域的数据库构建LLM基准，并对当代LLMs进行了广泛比较，展示了ERBench在评估LLMs时不仅能检查答案的正确性，还能有效验证推理过程。

🔬 方法详解

问题定义：本文旨在解决现有大语言模型评估方法缺乏对复杂思维过程的有效评估这一问题。现有方法往往无法充分利用结构化知识进行深入问题的构建与验证。

核心思路：ERBench的核心思路是利用关系数据库中的完整性约束（如功能依赖和外键约束）来构建复杂的多跳问题，从而更好地评估LLMs的回答及其推理过程。

技术框架：ERBench的整体架构包括数据输入模块（关系数据库）、问题生成模块（基于完整性约束构建问题）、答案验证模块（检查答案的正确性及推理过程）以及评估输出模块（生成评估报告）。

关键创新：ERBench的主要创新在于将关系数据库的完整性约束引入LLM评估中，使得问题构建和答案验证更加系统化和自动化，显著提升了评估的深度与广度。

关键设计：在设计中，ERBench采用了特定的参数设置来优化问题生成过程，并利用多模态问题设计和提示工程技术来增强评估的灵活性与适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ERBench在评估LLMs时，不仅能够准确检查答案的正确性，还能有效验证推理过程。与传统基准相比，ERBench在多个领域的评估中表现出显著的提升，具体性能数据尚未披露。

🎯 应用场景

ERBench的研究成果在多个领域具有广泛的应用潜力，尤其是在自然语言处理、知识图谱构建和智能问答系统中。通过提供一种系统化的评估方法，ERBench能够帮助研究人员和开发者更好地理解和优化大语言模型的性能，推动相关技术的发展与应用。

📄 摘要（原文）

Large language models (LLMs) have achieved unprecedented performances in various applications, yet evaluating them is still challenging. Existing benchmarks are either manually constructed or are automatic, but lack the ability to evaluate the thought process of LLMs with arbitrary complexity. We contend that utilizing existing relational databases based on the entity-relationship (ER) model is a promising approach for constructing benchmarks as they contain structured knowledge that can be used to question LLMs. Unlike knowledge graphs, which are also used to evaluate LLMs, relational databases have integrity constraints that can be used to better construct complex in-depth questions and verify answers: (1) functional dependencies can be used to pinpoint critical keywords that an LLM must know to properly answer a given question containing certain attribute values; and (2) foreign key constraints can be used to join relations and construct multi-hop questions, which can be arbitrarily long and used to debug intermediate answers. We thus propose ERBench, which uses these integrity constraints to convert any database into an LLM benchmark. ERBench supports continuous evaluation as databases change, multimodal questions, and various prompt engineering techniques. In our experiments, we construct LLM benchmarks using databases of multiple domains and make an extensive comparison of contemporary LLMs. We show how ERBench can properly evaluate any LLM by not only checking for answer correctness, but also effectively verifying the rationales by looking for the right keywords.