WSC+: Enhancing The Winograd Schema Challenge Using Tree-of-Experts

📄 arXiv: 2401.17703v1 📥 PDF

作者: Pardis Sadat Zahraei, Ali Emami

分类: cs.CL, cs.CY

发布日期: 2024-01-31

备注: Accepted for publication in main proceedings of EACL 2024 conference, 22 pages, 16 figures

💡 一句话要点

提出Tree-of-Experts方法以增强Winograd Schema Challenge

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: Winograd Schema Challenge 大型语言模型 生成模型 机器理解 提示优化 数据集构建 模型评估

📋 核心要点

  1. 现有方法在生成Winograd Schema Challenge问题时有效性不足，导致生成的有效案例比例较低。
  2. 提出Tree-of-Experts (ToE)方法，通过优化提示方式，显著提升WSC实例的生成质量。
  3. 在WSC+数据集上，GPT-4的表现为68.7%，与人类基准95.1%相比存在显著差距，反映出模型评估能力的不足。

📝 摘要（中文）

Winograd Schema Challenge (WSC)是评估机器理解能力的重要基准。尽管大型语言模型（LLMs）在回答WSC问题方面表现出色，但其生成此类问题的能力尚未得到充分探索。本文提出了一种新颖的提示方法Tree-of-Experts (ToE)，显著提高了WSC实例的生成有效性（有效案例达到50%，而近期方法仅为10%）。我们引入了WSC+数据集，包含3,026个LLM生成的句子，并扩展了WSC框架，增加了“模糊”和“冒犯”类别，深入探讨模型的过度自信和偏见。分析结果显示，LLMs在评估自身生成的问题时，表现未必优于其他模型生成的问题。GPT-4在WSC+上的准确率为68.7%，显著低于人类基准的95.1%。

🔬 方法详解

问题定义：本文旨在解决现有方法在生成Winograd Schema Challenge问题时有效性不足的问题，导致生成的有效案例比例较低。

核心思路：提出Tree-of-Experts (ToE)方法，通过优化提示方式，增强了生成WSC实例的能力，从而提高生成有效案例的比例。

技术框架：整体架构包括数据生成模块、提示优化模块和评估模块。数据生成模块负责生成WSC实例，提示优化模块通过Tree-of-Experts方法提升生成质量，评估模块用于验证生成实例的有效性。

关键创新：最重要的技术创新在于引入了Tree-of-Experts方法，显著提高了生成有效WSC实例的比例，与现有方法相比，生成有效案例的比例从10%提升至50%。

关键设计：在参数设置上，ToE方法通过多层次专家模型进行提示优化，损失函数设计为关注生成实例的有效性和多样性，确保生成的句子在语义和结构上具有挑战性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在WSC+数据集上，GPT-4的准确率为68.7%，相比于人类基准的95.1%存在显著差距，反映出当前LLMs在自评估能力上的不足。通过Tree-of-Experts方法，生成有效案例的比例从10%提升至50%，显示出该方法在生成质量上的显著提升。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器理解和人机交互等。通过提升生成问题的有效性，能够为智能问答系统、对话系统等提供更高质量的训练数据，进而改善模型的理解和推理能力。未来，该方法可能推动更复杂的语言理解任务的发展。

📄 摘要（原文）

The Winograd Schema Challenge (WSC) serves as a prominent benchmark for evaluating machine understanding. While Large Language Models (LLMs) excel at answering WSC questions, their ability to generate such questions remains less explored. In this work, we propose Tree-of-Experts (ToE), a novel prompting method which enhances the generation of WSC instances (50% valid cases vs. 10% in recent methods). Using this approach, we introduce WSC+, a novel dataset comprising 3,026 LLM-generated sentences. Notably, we extend the WSC framework by incorporating new 'ambiguous' and 'offensive' categories, providing a deeper insight into model overconfidence and bias. Our analysis reveals nuances in generation-evaluation consistency, suggesting that LLMs may not always outperform in evaluating their own generated questions when compared to those crafted by other models. On WSC+, GPT-4, the top-performing LLM, achieves an accuracy of 68.7%, significantly below the human benchmark of 95.1%.