ClimateX: Do LLMs Accurately Assess Human Expert Confidence in Climate Statements?

📄 arXiv: 2311.17107v1 📥 PDF

作者: Romain Lacombe, Kerrie Wu, Eddie Dilworth

分类: cs.LG, cs.AI, cs.CL, cs.CY, cs.IR

发布日期: 2023-11-28

备注: Tackling Climate Change with Machine Learning workshop at NeurIPS 2023

💡 一句话要点

提出ClimateX数据集以评估LLMs对气候声明的专家信心判断

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 气候变化 大型语言模型 专家信心评估 数据集构建 少量学习

📋 核心要点

  1. 现有方法在评估LLMs对气候声明的专家信心时准确性不足，尤其在低信心声明上表现出过度自信。
  2. 本文提出ClimateX数据集，包含8094条气候声明及其信心水平，旨在提高LLMs对专家信心的评估能力。
  3. 实验结果表明，LLMs在少量学习设置下对气候声明的分类准确率最高可达47%，但仍存在显著的过度自信现象。

📝 摘要（中文）

在气候科学与政策领域，评估大型语言模型（LLMs）生成输出的准确性尤为重要。本文介绍了专家信心气候声明（ClimateX）数据集，这是一个新颖的、经过专家标注的数据集，包含8094条来自最新气候变化政府间专门委员会（IPCC）报告的气候声明，并标注了相应的信心水平。利用该数据集，我们展示了近期的LLMs能够在少量学习设置下对气候相关声明进行人类专家信心的分类，但准确率有限（最高为47%）。总体而言，模型在低和中等信心声明上表现出一致且显著的过度自信。我们强调了研究结果对气候传播、LLMs评估策略及其在信息检索系统中的应用的影响。

🔬 方法详解

问题定义：本文旨在解决LLMs在气候声明中对人类专家信心评估的准确性不足问题，现有方法在低信心声明上表现出过度自信，导致评估结果不可靠。

核心思路：通过构建ClimateX数据集，提供专家标注的气候声明及其信心水平，利用该数据集训练和评估LLMs的信心判断能力，特别是在少量学习的场景下。

技术框架：整体架构包括数据收集、标注、模型训练和评估四个主要阶段。数据收集阶段从IPCC报告中提取气候声明，标注阶段由专家为每条声明分配信心水平，模型训练阶段使用标注数据训练LLMs，最后在评估阶段测试模型的分类能力。

关键创新：最重要的技术创新在于引入了ClimateX数据集，使得LLMs能够在气候科学领域进行更为准确的信心评估，尤其是在少量学习的情况下，填补了现有研究的空白。

关键设计：在模型训练中，采用了特定的损失函数以优化信心分类的准确性，并在网络结构上进行了调整，以适应气候声明的特性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，LLMs在少量学习设置下对气候声明的分类准确率最高可达47%。然而，模型在低和中等信心声明上表现出显著的过度自信，提示在气候传播中需谨慎使用LLMs的输出。

🎯 应用场景

该研究的潜在应用领域包括气候政策制定、科学传播和信息检索系统。通过提高LLMs对气候声明的信心评估能力，可以帮助政策制定者和公众更好地理解气候科学信息，从而促进有效的气候行动和决策。

📄 摘要（原文）

Evaluating the accuracy of outputs generated by Large Language Models (LLMs) is especially important in the climate science and policy domain. We introduce the Expert Confidence in Climate Statements (ClimateX) dataset, a novel, curated, expert-labeled dataset consisting of 8094 climate statements collected from the latest Intergovernmental Panel on Climate Change (IPCC) reports, labeled with their associated confidence levels. Using this dataset, we show that recent LLMs can classify human expert confidence in climate-related statements, especially in a few-shot learning setting, but with limited (up to 47%) accuracy. Overall, models exhibit consistent and significant over-confidence on low and medium confidence statements. We highlight implications of our results for climate communication, LLMs evaluation strategies, and the use of LLMs in information retrieval systems.