Revisiting the Systematicity in Negation in the Era of In-Context Learning

📄 arXiv: 2606.16867v1 📥 PDF

作者: Hitomi Yanaka, Taisei Yamamoto

分类: cs.CL

发布日期: 2026-06-15

备注: Accepted to the 6th Workshop Natural Language Meets Logic and Machine Learning (NALOMA2026) at ESSLLI2026

💡 一句话要点

分析LLM在否定理解中的系统性以提升性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 否定理解 上下文学习 系统性分析 功能向量

📋 核心要点

  1. 现有语言模型在理解否定句时表现不佳，尤其是在否定范围的识别上存在显著困难。
  2. 本文提出通过行为和表征系统性分析，探讨LLMs在否定理解中的表现及其局限性。
  3. 实验结果显示，虽然LLMs在提取否定提示方面有所进展，但在范围识别任务中仍面临较大挑战。

📝 摘要（中文）

理解否定句的含义仍然是语言模型面临的挑战之一，尤其是在大型语言模型（LLMs）时代。本文从行为系统性和表征系统性两个角度分析LLMs对否定的理解。通过示例和上下文学习，LLMs在一定程度上能够识别否定表达及其范围，但未能达到完美表现。特别是，模型在识别否定范围时的难度因输出格式而异。实验表明，尽管可以为否定提示提取任务构建功能向量，但识别范围的功能向量提取更具挑战性。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在理解否定句时的系统性问题，尤其是识别否定范围的困难。现有方法在此方面的表现不尽如人意，无法达到理想的准确率。

核心思路：通过分析行为系统性和表征系统性，探讨LLMs在否定理解中的表现，提出利用上下文学习提升模型对否定表达的识别能力。

技术框架：研究分为两个主要模块：行为系统性分析和表征系统性分析。行为系统性模块通过示例学习评估模型对否定表达的识别能力；表征系统性模块则分析功能向量的构建及其在否定理解中的应用。

关键创新：本文的创新在于系统性地分析LLMs对否定的理解，尤其是通过上下文学习提升否定提示提取的能力，填补了现有研究的空白。

关键设计：在实验中，设计了多种输出格式以测试模型在不同条件下的表现，同时关注功能向量的构建和提取过程，确保实验结果的可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLMs在否定提示提取任务中表现有所提升，但在否定范围识别上仍存在显著挑战。具体而言，模型在不同输出格式下的表现差异明显，未能达到理想的准确率，提示了未来研究的方向。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的情感分析、对话系统和文本理解等。通过提升语言模型对否定句的理解能力，可以显著改善这些应用的准确性和用户体验，未来可能推动更智能的对话系统和自动化文本分析工具的发展。

📄 摘要（原文）

Understanding the meaning of negated sentences remains one of the challenges for language models, even in the era of large language models (LLMs). We analyze systematicity regarding LLM understanding of negation from two perspectives: behavioral systematicity and representational systematicity. For behavioral systematicity, we confirm that through demonstrations and in-context learning, LLMs can recognize negation expressions and scope within sentences to some extent, but they fail to achieve perfect performance. In particular, the difficulty of the negation scope recognition for models varies depending on the output format. For representational systematicity, we analyze the extent to which function vectors can be robustly constructed from in-context examples for tasks that are essential to understanding negation. The experiments suggest that while function vectors can be composed for negation cue extraction tasks, extracting function vectors for recognizing scope is more challenging.