An Empirical Analysis of Factual Errors in Human-Written Text and its Application

📄 arXiv: 2606.27959v1 📥 PDF

作者: Kazuma Iwamoto, Kazumasa Omura, Shotaro Ishihara

分类: cs.CL

发布日期: 2026-06-26

💡 一句话要点

提出人类文本事实错误检测方法以填补LLM研究空白

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 事实错误检测 大型语言模型 文本分析 错误分类 自然语言处理

📋 核心要点

  1. 现有研究主要集中在LLM生成文本的事实错误检测，忽视了人类书写文本中的事实错误，导致相关研究相对滞后。
  2. 本文通过分析报纸文章的修正，提出了一种人类引发的事实错误分类法，为后续的检测提供了理论基础。
  3. 实验结果表明，当前高性能LLMs在合成评估数据上的表现仍然有限，词级F1分数仅为52%，显示出该任务的复杂性。

📝 摘要（中文）

事实错误检测（FED）是识别文本中事实不正确部分的重要研究问题。随着大型语言模型（LLMs）的快速发展，研究重心逐渐转向LLM生成文本中的事实错误（幻觉）及其检测，而人类书写文本中的事实错误检测相对被忽视。为填补这一空白，本文通过分析报纸文章的修正，提炼出人类引发的事实错误分类法，并评估了普通LLMs在合成的真实测试案例和实际修正中的FED能力。实验结果显示，即使是高性能的LLMs如GPT-5.4在合成评估数据上的词级F1分数仅为52%，突显了任务的难度。

🔬 方法详解

问题定义：本文旨在解决人类书写文本中的事实错误检测问题。现有方法主要关注LLM生成文本中的幻觉，导致人类文本的事实错误未得到充分研究。

核心思路：通过分析报纸文章的修正，提炼出人类引发的事实错误的分类法，进而评估普通LLMs在这些错误检测中的能力。这样设计是为了填补现有研究的空白，提供更全面的错误检测视角。

技术框架：整体架构包括错误分类法的建立、合成测试案例的生成以及对LLMs的评估。主要模块包括数据收集、错误分析、模型评估和结果分析。

关键创新：最重要的技术创新在于提出了一种新的错误分类法，涵盖了现有幻觉基准未关注的特征，如汉字误转和数字分类错误。

关键设计：在实验中，使用了合成的真实测试案例，并对LLMs的检测能力进行了评估，设置了相应的评价指标，如词级F1分数，以量化模型性能。实验结果揭示了当前检测的难度和局限性。

📊 实验亮点

实验结果显示，尽管使用了高性能的LLMs如GPT-5.4，但在合成评估数据上的词级F1分数仅为52%，表明该任务的复杂性和当前技术的局限性。这一发现强调了对人类文本事实错误检测的进一步研究需求。

🎯 应用场景

该研究的潜在应用领域包括新闻编辑、内容审核和自动化写作工具等。通过提高人类文本中的事实错误检测能力，可以有效提升信息的准确性和可靠性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Factual Error Detection (FED), which is the task of identifying factually incorrect spans in a given text, has long been recognized as an important research problem. However, with the rapid rise of large language models (LLMs), research attention has shifted toward factual errors specific to LLM-generated text (hallucinations) and their detection. As a result, the detection of factual errors in human-written text has been relatively neglected. To address this gap, we first distill a taxonomy of human-induced factual errors by analyzing corrections of newspaper articles, a representative source of text that is guaranteed to be human-written and contains few grammatical errors. Our analysis revealed that there are characteristic categories such as kanji misconversions and numeral classifier errors, which are not focused in existing hallucination benchmarks. Based on the taxonomy, we then evaluate the FED capability of vanilla LLMs on synthesized realistic test cases and real corrections. Experimental results demonstrated that even high-performance LLMs such as GPT-5.4 achieved only word-level F1 score of 52% on the synthetic evaluation data, highlighting the task difficulty. Furthermore, a detailed analysis by detection difficulty revealed the current state of FED.