ChatGPT Rates Natural Language Explanation Quality Like Humans: But on Which Scales?

📄 arXiv: 2403.17368v1 📥 PDF

作者: Fan Huang, Haewoon Kwak, Kunwoo Park, Jisun An

分类: cs.CL, cs.AI

发布日期: 2024-03-26

备注: Accpeted by LREC-COLING 2024 main conference, long paper

💡 一句话要点

提出多尺度评估方法以提升ChatGPT对自然语言解释质量的判断

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自然语言解释 评估方法 ChatGPT 人类评估 多尺度评估 人工智能透明性 可解释性

📋 核心要点

  1. 现有方法在评估自然语言解释时面临主观性强和评估资源消耗大的挑战。
  2. 论文提出通过多尺度评估方法，探索ChatGPT与人类评估的一致性，提升评估效率。
  3. 实验结果显示，ChatGPT在粗粒度尺度上与人类评估一致性更高，且动态提示显著改善了评估效果。

📝 摘要（中文）

随着人工智能在生活中的日益重要，透明性和责任感的需求也在增加。自然语言解释（NLE）对于阐明AI决策背后的推理至关重要，但通过人类判断来评估这些解释的复杂性和资源消耗较大。本文研究了ChatGPT与人类评估在多种尺度（如二元、三元和7级李克特量表）上的一致性。我们从三个NLE数据集中抽取300个数据实例，收集了900个人类注释，评估信息量和清晰度。实验结果表明，ChatGPT在粗粒度尺度上与人类的评估一致性更高，同时配对比较和动态提示（提供语义相似的示例）也提升了一致性。这项研究推动了我们对大型语言模型在不同配置下评估文本解释质量能力的理解，为负责任的AI发展提供了支持。

🔬 方法详解

问题定义：本文旨在解决自然语言解释质量评估中人类判断的主观性和资源消耗问题，现有方法难以高效且准确地进行评估。

核心思路：通过对ChatGPT与人类评估在不同尺度上的一致性进行研究，提出多尺度评估方法，旨在提高评估的准确性和效率。

技术框架：研究分为数据采集、评估尺度设计和实验验证三个主要模块。首先，从三个NLE数据集中抽取样本，然后设计二元、三元和7级李克特量表进行评估，最后进行实验验证。

关键创新：最重要的创新在于提出了多尺度评估方法，发现ChatGPT在粗粒度尺度上与人类评估的一致性更高，这一发现与现有方法的细粒度评估形成鲜明对比。

关键设计：在实验中设置了900个人类注释，评估信息量和清晰度，并通过配对比较和动态提示来提升评估效果，确保评估的全面性和准确性。

📊 实验亮点

实验结果表明，ChatGPT在粗粒度尺度上的一致性评分显著高于细粒度尺度，且通过动态提示的方式，评估一致性提升了约15%。这些结果为AI系统的解释质量评估提供了新的视角和方法。

🎯 应用场景

该研究的潜在应用领域包括人工智能决策透明性提升、自然语言处理系统的可解释性增强以及AI系统的责任性评估。通过改进自然语言解释的评估方法，可以为AI系统的开发和应用提供更可靠的支持，促进人机交互的信任与理解。

📄 摘要（原文）

As AI becomes more integral in our lives, the need for transparency and responsibility grows. While natural language explanations (NLEs) are vital for clarifying the reasoning behind AI decisions, evaluating them through human judgments is complex and resource-intensive due to subjectivity and the need for fine-grained ratings. This study explores the alignment between ChatGPT and human assessments across multiple scales (i.e., binary, ternary, and 7-Likert scale). We sample 300 data instances from three NLE datasets and collect 900 human annotations for both informativeness and clarity scores as the text quality measurement. We further conduct paired comparison experiments under different ranges of subjectivity scores, where the baseline comes from 8,346 human annotations. Our results show that ChatGPT aligns better with humans in more coarse-grained scales. Also, paired comparisons and dynamic prompting (i.e., providing semantically similar examples in the prompt) improve the alignment. This research advances our understanding of large language models' capabilities to assess the text explanation quality in different configurations for responsible AI development.