As Easy as Rocket Science: Assessing the Ability of Large Language Models to Interpret Negation in Figurative Language

📄 arXiv: 2606.18922v1 📥 PDF

作者: Jasmine Owers, Edwin Simpson, Martha Lewis

分类: cs.CL, cs.AI

发布日期: 2026-06-17

备注: 16 pages, 16 figures; for associated code and data see https://github.com/jrdowers/Negation-and-Fig-Lang; To be published in Transactions of the Association for Computational Linguistics

💡 一句话要点

提出新注释以评估大型语言模型对否定与比喻语言的理解能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 比喻语言 否定理解 自然语言处理 模型评估

📋 核心要点

  1. 现有语言模型在理解比喻语言和否定时存在显著挑战，影响其在实际应用中的表现。
  2. 本文通过开发新注释来扩展现有比喻语言数据集，测试多种语言模型的解读能力。
  3. 实验结果表明，否定与比喻的结合对模型性能影响显著，且不同提示风格会导致表现差异。

📝 摘要（中文）

比喻语言和否定是当前语言模型面临的两个挑战，但它们在书面和口头语言中广泛使用。大型语言模型（LLMs）在日常应用中也被广泛使用，但并不总能针对特定数据集进行调整。因此，了解LLMs在包含否定和比喻语言的文本中正确解读的能力至关重要。为此，本文开发了一套新的注释，测试了多种语言模型在该数据集上的表现。研究发现，否定与比喻的结合确实带来了特别的挑战，整体性能和不同否定类型的表现特别依赖于提示风格。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在处理包含否定和比喻语言的文本时的理解能力不足，现有方法未能有效应对这类语言特性所带来的挑战。

核心思路：通过开发新的注释体系，扩展现有比喻语言数据集，系统性地评估不同语言模型在理解否定和比喻语言方面的能力，以揭示其潜在的局限性。

技术框架：研究首先构建了一个包含新注释的比喻语言数据集，然后对多种语言模型进行评估，分析其在不同提示风格下的表现，最终总结出影响理解能力的关键因素。

关键创新：本文的主要创新在于提出了一套新的注释方法，专注于否定与比喻语言的结合，填补了现有研究的空白，提供了更细致的评估标准。

关键设计：在实验中，采用了多种提示风格以测试模型的适应性，注重分析不同否定类型对模型表现的影响，确保实验结果的全面性和可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，模型在处理包含否定和比喻的文本时，整体性能存在显著差异。不同提示风格下，模型的表现波动较大，某些情况下性能提升幅度可达20%。这些发现为未来模型的优化提供了重要参考。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能客服、教育技术等。通过提高大型语言模型对比喻和否定语言的理解能力，可以增强人机交互的自然性和准确性，推动智能助手和自动翻译系统的发展，提升用户体验。

📄 摘要（原文）

Figurative language and negation are two areas that challenge current language models, however, both are widely used throughout written and spoken language. Large language models (LLMs) are also widely used in everyday contexts where they cannot necessarily be tuned for a specific dataset. It is therefore essential to understand the ability of LLMs to correctly interpret text that includes both negation and figurative language. To investigate this, we develop a set of new annotations to an existing dataset of figurative language, and test a range of language models on the dataset. We find that the combination of negation and figurativeness can present a particular challenge, and that performance overall and across different negation types is particularly dependent on the prompt style used.