Reference-based Metrics Disprove Themselves in Question Generation

📄 arXiv: 2403.12242v3 📥 PDF

作者: Bang Nguyen, Mengxia Yu, Yun Huang, Meng Jiang

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-03-18 (更新: 2024-10-10)

备注: EMNLP 2024 Findings - Camera Ready

💡 一句话要点

提出无参考度量以解决问答生成评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 问答生成 评估方法 自然语言处理 大型语言模型 无参考度量

📋 核心要点

  1. 现有的参考基于度量方法在问答生成评估中存在有效性不足的问题，尤其是在只有单一参考的情况下。
  2. 论文提出了一种无参考度量，利用多维标准（如自然性、可回答性和复杂性），不依赖于单一参考问题的语法或语义。
  3. 实验结果显示，该无参考度量能够有效区分高质量与低质量的问题，并与人类评判结果高度一致。

📝 摘要（中文）

参考基于度量（如BLEU和BERTScore）广泛用于问答生成（QG）的评估。然而，本研究在SQuAD和HotpotQA等QG基准上发现，使用人类编写的参考无法保证这些度量的有效性。大多数QG基准仅有一个参考，我们复制了注释过程并收集了另一个参考。期望一个好的度量能够对经过人类验证的问题评分不低于生成的问题。然而，我们新收集的参考上的结果证明了这些度量的无效性。我们提出了一种无参考度量，包含自然性、可回答性和复杂性等多维标准，利用大型语言模型。这些标准不受单一参考问题的句法或语义限制，且该度量不需要多样的参考集。实验表明，我们的度量能够准确区分高质量问题与缺陷问题，并与人类判断达到最先进的一致性。

🔬 方法详解

问题定义：本研究旨在解决现有参考基于度量在问答生成评估中的有效性不足问题，尤其是在只有单一参考的情况下，这导致了度量结果的不可靠性。

核心思路：论文提出了一种无参考度量，核心思想是通过多维标准（自然性、可回答性和复杂性）来评估生成的问题，而不依赖于人类编写的参考问题，从而避免了参考的局限性。

技术框架：整体架构包括数据收集、特征提取和评估三个主要模块。首先，收集生成的问题和相应的答案；其次，利用大型语言模型提取问题的多维特征；最后，通过设计的无参考度量对问题进行评估。

关键创新：最重要的技术创新在于提出了一种不依赖于参考的问题评估方法，突破了传统度量的局限性，使得评估更加全面和客观。

关键设计：在设计中，采用了大型语言模型进行特征提取，确保了评估标准的多样性和全面性。此外，度量的参数设置经过多次实验调整，以优化评估效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的无参考度量在高质量问题与低质量问题的区分上表现优异，达到了与人类评判结果的最先进一致性，显著提升了评估的准确性和可靠性。

🎯 应用场景

该研究的潜在应用领域包括教育、在线问答系统和智能客服等。通过提供更准确的问题生成评估方法，可以提升自动问答系统的质量和用户体验，推动相关技术的进一步发展与应用。

📄 摘要（原文）

Reference-based metrics such as BLEU and BERTScore are widely used to evaluate question generation (QG). In this study, on QG benchmarks such as SQuAD and HotpotQA, we find that using human-written references cannot guarantee the effectiveness of the reference-based metrics. Most QG benchmarks have only one reference; we replicate the annotation process and collect another reference. A good metric is expected to grade a human-validated question no worse than generated questions. However, the results of reference-based metrics on our newly collected reference disproved the metrics themselves. We propose a reference-free metric consisted of multi-dimensional criteria such as naturalness, answerability, and complexity, utilizing large language models. These criteria are not constrained to the syntactic or semantic of a single reference question, and the metric does not require a diverse set of references. Experiments reveal that our metric accurately distinguishes between high-quality questions and flawed ones, and achieves state-of-the-art alignment with human judgment.