Metaphor Understanding Challenge Dataset for LLMs

📄 arXiv: 2403.11810v1 📥 PDF

作者: Xiaoyu Tong, Rochelle Choenni, Martha Lewis, Ekaterina Shutova

分类: cs.CL

发布日期: 2024-03-18

🔗 代码/项目: GITHUB

💡 一句话要点

提出隐喻理解挑战数据集以评估大型语言模型的能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 隐喻理解 大型语言模型 自然语言处理 数据集 认知科学 机器学习

📋 核心要点

  1. 隐喻理解是大型语言模型面临的一项重要挑战，现有模型在处理隐喻时常常依赖词汇相似性而非真正的理解。
  2. 本文提出了隐喻理解挑战数据集（MUNCH），通过提供大量的隐喻句子及其释义，来系统评估模型的隐喻理解能力。
  3. 实验结果显示，MUNCH对LLaMA和GPT-3.5等模型构成了显著挑战，揭示了当前模型在隐喻理解方面的不足。

📝 摘要（中文）

隐喻在自然语言中反映了基本的认知过程，如类比推理和分类，深深植根于日常交流中。因此，隐喻理解是大型语言模型（LLMs）的一项重要任务。本文发布了隐喻理解挑战数据集（MUNCH），旨在评估LLMs的隐喻理解能力。该数据集提供了超过1万条包含隐喻的句子的释义，以及1500条不当释义实例，后者经过精心挑选以作为控制组，判断模型是否真正进行隐喻解释，而非仅依赖词汇相似性。所有释义均经过人工注释，隐喻句子涵盖了四种体裁（学术、新闻、小说和对话），并展现了不同的创新性水平。对LLaMA和GPT-3.5的实验表明，MUNCH为LLMs提供了一项具有挑战性的任务。数据集可在https://github.com/xiaoyuisrain/metaphor-understanding-challenge上自由获取。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在隐喻理解方面的不足，现有方法往往无法准确区分隐喻与字面意义，导致理解偏差。

核心思路：通过构建隐喻理解挑战数据集（MUNCH），提供大量隐喻句子及其释义，帮助评估模型是否具备真正的隐喻理解能力，而非仅依赖词汇相似性。

技术框架：数据集包含超过1万条隐喻句子及1500条不当释义，涵盖学术、新闻、小说和对话四种体裁，所有数据均经过人工注释，确保质量和准确性。

关键创新：MUNCH数据集的最大创新在于提供了适当和不当释义的对比，能够有效评估模型的隐喻理解能力，区别于以往仅依赖单一释义的评估方法。

关键设计：数据集中的释义均为人工标注，确保了释义的准确性和多样性，隐喻句子设计考虑了不同的创新性水平，以便全面评估模型的理解能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MUNCH数据集对LLaMA和GPT-3.5等模型构成了显著挑战，揭示了当前模型在隐喻理解方面的不足。具体而言，模型在处理隐喻句子时的表现明显低于处理字面句子的表现，显示出隐喻理解的复杂性和重要性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能对话系统和教育技术等。通过提升大型语言模型的隐喻理解能力，可以增强机器与人类的交流效果，推动智能助手和教育工具的智能化发展，具有重要的实际价值和未来影响。

📄 摘要（原文）

Metaphors in natural language are a reflection of fundamental cognitive processes such as analogical reasoning and categorisation, and are deeply rooted in everyday communication. Metaphor understanding is therefore an essential task for large language models (LLMs). We release the Metaphor Understanding Challenge Dataset (MUNCH), designed to evaluate the metaphor understanding capabilities of LLMs. The dataset provides over 10k paraphrases for sentences containing metaphor use, as well as 1.5k instances containing inapt paraphrases. The inapt paraphrases were carefully selected to serve as control to determine whether the model indeed performs full metaphor interpretation or rather resorts to lexical similarity. All apt and inapt paraphrases were manually annotated. The metaphorical sentences cover natural metaphor uses across 4 genres (academic, news, fiction, and conversation), and they exhibit different levels of novelty. Experiments with LLaMA and GPT-3.5 demonstrate that MUNCH presents a challenging task for LLMs. The dataset is freely accessible at https://github.com/xiaoyuisrain/metaphor-understanding-challenge.