Human-Like Anaphor Resolution in Large Language Models

📄 arXiv: 2608.05630v1 📥 PDF

作者: Keane Zhang, Varshini Chinta, Raj Sanjay Shah, Sashank Varma

分类: cs.CL

发布日期: 2026-08-06

备注: 7 pages, 6 figures, 1 table. Presented at CogSci 2026 and the 2026 Annual Meeting of the Society for Text & Discourse. Code: https://github.com/wristy/anaphor

💡 一句话要点

探讨大语言模型中的人类式指代解析机制

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 指代解析 大语言模型 人类认知 自然语言处理 语义理解 模型评估

📋 核心要点

  1. 现有方法在指代解析中对人类认知因素的敏感性不足，导致解析效果不佳。
  2. 论文提出通过分析大语言模型在指代解析中的表现，探讨人类认知因素对模型的影响。
  3. 实验结果表明，部分模型在指代解析中对话语结构和距离因素敏感，但对语义干扰的敏感性较弱。

📝 摘要（中文）

指代是指代词与其先行词之间的关系，解析过程称为指代解析。认知科学已识别出多种影响指代解析速度和成功率的因素，包括话语结构、情境模型属性和语义因素。本文研究了这些因素是否也影响五种具有开放权重的大语言模型（LLMs）的指代解析能力。我们采用标准的链接假设，将人类阅读时间与模型在指代词处的惊讶度相关联，并通过比较模型在理解问题上的准确性与人类的准确性来评估模型表现。结果显示，部分LLMs在指代解析中对话语突出性和基于距离的因素表现出人类式的敏感性，但对语义干扰效应的敏感性较弱或缺失。这些发现界定了LLMs在何种条件下能够接近人类的指代解析能力。

🔬 方法详解

问题定义：本文旨在解决大语言模型在指代解析中对人类认知因素敏感性不足的问题。现有方法未能充分考虑话语结构和语义因素对解析效果的影响。

核心思路：通过对五种大语言模型的表现进行分析，探讨人类认知因素如何影响模型的指代解析能力，采用标准链接假设来关联人类阅读时间与模型的惊讶度。

技术框架：研究涉及五种大语言模型的比较，包括GPT-2-XL、Llama-3.1-8B、Pythia-12B、Mistral-7B和Mistral-24B。主要模块包括模型的惊讶度计算和与人类准确性的比较。

关键创新：本研究的创新点在于首次系统性地将人类认知因素与大语言模型的指代解析能力进行对比，揭示了模型在特定条件下的表现与人类的相似性和差异性。

关键设计：在实验中，采用了标准的链接假设来量化模型的惊讶度，并通过理解问题的准确性评估模型的表现，确保了实验的科学性和可比性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，部分大语言模型在指代解析中对话语突出性和距离因素表现出人类式的敏感性，准确性与人类相近，然而对语义干扰的敏感性较弱。这一发现为模型的进一步优化提供了重要方向。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和智能助手等。通过提高大语言模型在指代解析中的表现，可以显著提升人机交互的自然性和准确性，推动相关技术的实际应用和发展。

📄 摘要（原文）

Anaphors are expressions that refer to other expressions, called antecedents. The process of connecting the two is called resolution. Cognitive science has identified multiple factors that affect the speed and success of anaphor resolution, including discourse structure, situation-model properties, and semantic factors. Here, we investigate whether these factors also affect anaphor resolution in five Large Language Models (LLMs) with open weights: GPT-2-XL, Llama-3.1-8B, Pythia-12B, Mistral-7B, and Mistral-24B. To model processing difficulty, we adopt the standard linking hypothesis that relates human reading times to model surprisal at the anaphor. As a second behavioral measure, we compare model accuracy to human accuracy on comprehension questions probing the antecedents of anaphors. The results show selective cognitive alignment: some LLMs exhibit human-like sensitivity to discourse prominence and distance-based factors in anaphor resolution, while showing weaker or absent sensitivity to semantic interference effects. These findings delimit the conditions under which LLMs approximate human anaphor resolution.