When LLMs Read Tables Carelessly: Measuring and Reducing Data Referencing Errors

📄 arXiv: 2606.32029v1 📥 PDF

作者: Yuqing Yang, Qi Zhu, Zhen Han, Boran Han, Zhengyuan Shen, Shuai Wang, Vassilis N. Ioannidis, Huzefa Rangwala

分类: cs.CL, cs.AI

发布日期: 2026-06-30

备注: ACL 2026 (Oral)

💡 一句话要点

提出数据引用批评机制以减少大型语言模型的引用错误

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 数据引用错误 批评机制 表格数据 推理能力 模型评估 机器学习

📋 核心要点

  1. 现有研究对大型语言模型在表格任务中的数据引用错误分析有限，未能全面评估其影响。
  2. 本文提出通过引入数据引用批评机制，利用批评过滤和拒绝采样来提升模型的答案准确性。
  3. 实验结果显示，采用批评机制后，模型的答案准确性提高了12.0%，并且新训练的批评模型在DRE检测中表现优异。

📝 摘要（中文）

尽管大型语言模型（LLMs）在表格任务上表现良好，但它们仍然会出现数据引用错误（DREs），即错误引用或遗漏表格值。DREs不仅影响最终答案的准确性，还直接损害中间推理步骤的正确性和可靠性。本文首次系统评估了不同模型和任务中的表格数据引用错误，结果表明所有测试模型均存在DREs。通过引入数据引用作为批评机制，答案准确性提高了12.0%。此外，我们训练了一个轻量级的4B参数批评模型，平均F1分数达到78.2%，有效辅助更大模型的推理。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在处理表格数据时出现的数据引用错误（DREs），现有方法未能有效识别和纠正这些错误，导致推理结果的不可靠性。

核心思路：论文提出通过引入数据引用作为批评机制，利用批评模型对生成的答案进行评估，从而提高答案的准确性和可靠性。这样的设计能够有效识别并纠正模型在引用表格数据时的错误。

技术框架：整体架构包括数据引用批评模块和主模型。批评模块负责检测和评估主模型生成的答案，采用批评过滤和拒绝采样的方式来提升最终答案的质量。

关键创新：最重要的技术创新在于引入了批评机制作为辅助工具，显著提高了模型在表格任务中的答案准确性，与传统方法相比，能够更有效地识别和纠正数据引用错误。

关键设计：在模型设计中，批评模型采用了轻量级的4B参数结构，使用特定的损失函数来优化DRE检测能力，确保在识别分布内和分布外的DREs时都能保持较高的F1分数。该模型的平均F1分数达到78.2%。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，采用批评机制后，模型的答案准确性提高了12.0%。新训练的4B参数批评模型在检测DREs时，平均F1分数达到78.2%，有效支持了更大模型的推理过程，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、数据分析工具和自动化报告生成等。通过减少数据引用错误，提升模型的推理能力和结果的可靠性，能够在金融、医疗和科学研究等多个行业中发挥重要作用，推动智能系统的实际应用和发展。

📄 摘要（原文）

While large language models (LLMs) perform well on table tasks, they still make data referencing errors (DREs), i.e., incorrectly citing or omitting table values, despite understanding the table structure. Beyond final-answer accuracy, DREs directly compromise the correctness and reliability of intermediate reasoning steps. Yet prior studies have only offered limited, small-scale analyses. In this work, we present the first systematic evaluation of tabular data referencing errors across different models and tasks. Our results show that DREs occur across all tested models (1.7B to 20B parameters). Furthermore, we demonstrate that incorporating data referencing as a critic significantly improves answer accuracy up to 12.0%, through critic-based filtering and rejection sampling. Finally, we trained a lightweight 4B-parameter critic model that achieves an average F1 score of 78.2% in detecting both in-distribution and out-of-distribution DREs, and effectively assists inference for larger models.