GenRES: Rethinking Evaluation for Generative Relation Extraction in the Era of Large Language Models

📄 arXiv: 2402.10744v1 📥 PDF

作者: Pengcheng Jiang, Jiacheng Lin, Zifeng Wang, Jimeng Sun, Jiawei Han

分类: cs.CL, cs.AI

发布日期: 2024-02-16

💡 一句话要点

提出GenRES以解决生成关系抽取评估不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 生成关系抽取 评估指标 大型语言模型 信息抽取 自然语言处理 知识图谱 多维度评估

📋 核心要点

  1. 现有的关系抽取评估方法主要依赖精确匹配，无法有效评估生成关系抽取的多样性和语义准确性。
  2. 提出GenRES评估框架，从多个维度（如主题相似性、独特性等）对生成关系抽取结果进行全面评估。
  3. 通过人类评估，验证GenRES与人类对关系抽取质量的偏好一致，并对十四种LLMs进行基准评估。

📝 摘要（中文）

关系抽取（RE）领域正向生成关系抽取（GRE）转变，利用大型语言模型（LLMs）的能力。然而，传统的RE评估指标如精确率和召回率无法有效评估GRE方法，因为这些指标依赖于与人工标注参考关系的精确匹配，而GRE方法往往生成多样且语义准确的关系。为此，本文提出了GenRES，从主题相似性、独特性、粒度、事实性和完整性等多维度评估GRE结果。通过GenRES，我们发现传统指标无法充分反映GRE方法的性能，且人工标注的参考关系可能不完整。此外，固定的关系或实体提示可能导致模型产生幻觉。最后，我们对十四种领先的LLMs进行了全面评估，为未来GRE研究设定了基准。

🔬 方法详解

问题定义：本文旨在解决传统关系抽取评估指标（如精确率和召回率）在生成关系抽取（GRE）中的不足，特别是这些指标无法反映GRE方法生成的多样性和语义准确性。

核心思路：提出GenRES评估框架，旨在通过多维度评估（主题相似性、独特性、粒度、事实性和完整性）来更全面地评估GRE结果，克服传统方法的局限性。

技术框架：GenRES的整体架构包括多个评估模块，分别针对不同维度进行分析，最终综合得出评估结果。每个模块独立评估生成的关系，并与人工标注的参考关系进行对比。

关键创新：GenRES的创新在于其多维度评估方法，能够捕捉到生成关系的多样性和语义准确性，与传统依赖精确匹配的评估方法形成鲜明对比。

关键设计：在设计中，GenRES采用了多种评估指标，确保每个维度的评估都能反映生成关系的特征，避免了固定关系提示导致的幻觉现象。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GenRES在评估生成关系抽取方法时，与传统的精确率和召回率指标相比，能够更准确地反映人类对关系抽取质量的偏好。通过对十四种领先的LLMs进行评估，GenRES为未来研究提供了新的基准，推动了该领域的发展。

🎯 应用场景

该研究的潜在应用领域包括信息抽取、知识图谱构建和自然语言处理等。通过改进生成关系抽取的评估方法，可以提升相关任务的性能，推动智能问答系统和自动化信息检索等技术的发展，具有重要的实际价值和未来影响。

📄 摘要（原文）

The field of relation extraction (RE) is experiencing a notable shift towards generative relation extraction (GRE), leveraging the capabilities of large language models (LLMs). However, we discovered that traditional relation extraction (RE) metrics like precision and recall fall short in evaluating GRE methods. This shortfall arises because these metrics rely on exact matching with human-annotated reference relations, while GRE methods often produce diverse and semantically accurate relations that differ from the references. To fill this gap, we introduce GenRES for a multi-dimensional assessment in terms of the topic similarity, uniqueness, granularity, factualness, and completeness of the GRE results. With GenRES, we empirically identified that (1) precision/recall fails to justify the performance of GRE methods; (2) human-annotated referential relations can be incomplete; (3) prompting LLMs with a fixed set of relations or entities can cause hallucinations. Next, we conducted a human evaluation of GRE methods that shows GenRES is consistent with human preferences for RE quality. Last, we made a comprehensive evaluation of fourteen leading LLMs using GenRES across document, bag, and sentence level RE datasets, respectively, to set the benchmark for future research in GRE