Who is the Pronoun Pro? Comparing LLMs and Humans at Number-Disambiguation of 'they'

📄 arXiv: 2611.04968v1 📥 PDF

作者: Carlos Hartmann

分类: cs.CL, cs.AI, cs.HC

发布日期: 2026-11-03

备注: Submitted to journal for publication, will be updated upon publication; figures are greyscale-compatible; raw data, fully reproducible code, and Quarto source in linked repository

💡 一句话要点

评估大型语言模型在复杂语言注释中的应用潜力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 语言注释 数字消歧 人机比较 社交媒体分析

📋 核心要点

  1. 现有方法在处理复杂语言注释时，LLMs的表现与人类注释者存在差距，尤其是在语义消歧方面。
  2. 论文通过对比人类和LLMs在数字消歧任务中的表现，提出了LLMs作为注释支持工具的潜力，强调人类监督的重要性。
  3. 实验结果显示，最佳LLM Kimi K3的准确率为94.5%，超越人类多数投票的86.2%，展现了LLMs在速度和成本上的优势。

📝 摘要（中文）

本研究评估大型语言模型（LLMs）在语言复杂的注释任务中是否能可靠地替代或补充人类研究助理。在一个受控的注释任务中，73名人类注释者与40多种LLM配置对来自Reddit的174个'他们'的真实用法进行了数字消歧。最佳LLM Kimi K3的准确率达到94.5%，超过了人类多数投票的86.2%和人类注释者前半部分的平均值78.5%；仅有一名最佳人类注释者的得分更高（95.7%）。LLMs在成本和速度上也提供了显著的实际优势。然而，定性错误分析揭示了人类推理在低一致性案例中的重要互补性，暴露了注释类型学中的不一致性，从而改善了方法论框架。该研究贡献了（i）一个语义要求高的任务的人类-LLM比较基准，（ii）透明的成本和时间证据，以及（iii）反对纯粹替代自动化观点的方法论论证。

🔬 方法详解

问题定义：本研究旨在解决大型语言模型在复杂语言注释任务中的有效性，尤其是在处理代词'他们'的数字消歧时，现有方法在准确性和一致性上存在不足。

核心思路：通过对比73名人类注释者与40多种LLM配置的表现，探讨LLMs在语言注释中的应用潜力，强调人类推理在低一致性案例中的重要性。

技术框架：研究采用受控注释任务，收集174个'他们'的真实用法，进行多种LLM配置的性能评估，结合人类注释者的表现进行比较。

关键创新：本研究的创新点在于提供了一个基准式的人类与LLM比较，特别是在语义要求高的任务中，揭示了LLMs与人类注释者的互补性。

关键设计：研究中使用了多种LLM配置，评估其在不同上下文中的表现，采用了透明的成本和时间记录，确保结果的可重复性。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，最佳LLM Kimi K3的准确率达到94.5%，超过人类多数投票的86.2%和前半部分人类注释者的78.5%。仅有一名人类注释者的得分更高（95.7%），展现了LLMs在复杂语言任务中的潜力。

🎯 应用场景

该研究的潜在应用领域包括语言学研究、社交媒体内容分析和自动化注释工具的开发。通过结合LLMs与人类监督，可以提高注释的效率和准确性，推动语言处理技术的进步。

📄 摘要（原文）

This study evaluates whether large language models (LLMs) can reliably replace or complement human research assistants in linguistically complex annotation. In a controlled annotation task, 73 human annotators (local students and crowdworkers with and without a background in linguistics) and more than 40 LLM configurations number-disambiguated 174 authentic uses of 'they' from Reddit, including innovative and context-sensitive cases. The best LLM, Kimi K3, reached 94.5% accuracy, above the human majority vote (86.2%) and the mean of the top half of human annotators (78.5%); only the single best human annotator scored higher (95.7%). LLMs also offer substantial practical advantages in cost and speed. However, qualitative error analysis reveals a crucial complementarity: human reasoning in low-agreement cases exposes inconsistencies in the annotation typology and thereby improves the methodological framework itself. The study contributes (i) a benchmark-style human-LLM comparison for a semantically demanding task, (ii) transparent cost and time evidence, and (iii) a methodological argument against a purely replacement-oriented view of automation. LLMs are viable for large-scale annotation support in linguistics, but their responsible use requires human critical oversight. The dataset with its gold-standard labels, all human and LLM annotations, and the fully reproducible code are openly available as a Quarto-based, public repository.