Are Large Language Models Table-based Fact-Checkers?

📄 arXiv: 2402.02549v2 📥 PDF

作者: Hanwen Zhang, Qingyi Si, Peng Fu, Zheng Lin, Weiping Wang

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-02-04 (更新: 2024-11-13)

备注: CSCWD 2024

💡 一句话要点

探索大型语言模型在表格事实验证中的应用潜力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 表格事实验证 大型语言模型 零-shot学习 少-shot学习 指令调优

📋 核心要点

  1. 现有的表格事实验证方法依赖小规模模型，面临标注数据不足和零-shot能力弱的挑战。
  2. 本文通过设计多样化的提示和TFV指令，探索大型语言模型在零-shot和少-shot TFV中的应用潜力。
  3. 实验结果显示，经过提示工程和指令调优，LLMs在TFV任务中表现出显著的性能提升。

📝 摘要（中文）

表格事实验证（TFV）旨在提取陈述与结构化表格之间的蕴含关系。现有基于小规模模型的TFV方法面临标注数据不足和零-shot能力弱的问题。本文研究大型语言模型（LLMs）在TFV中的潜力，设计多样化的提示以探索其在零-shot和少-shot TFV能力上的表现。实验结果表明，经过提示工程，LLMs在零-shot和少-shot TFV中能够取得可接受的结果，而指令调优显著提升了TFV能力。我们还发现了零-shot提示格式和上下文示例数量的影响，最后分析了通过LLMs提升TFV准确性的可能方向，为表格推理的进一步研究提供了帮助。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在表格事实验证（TFV）中的应用潜力，现有方法在标注数据和零-shot能力方面存在不足。

核心思路：通过设计多样化的提示和TFV指令，研究LLMs在TFV任务中的零-shot和少-shot能力，探索其在事实验证中的有效性。

技术框架：整体流程包括提示设计、指令调优和实验评估三个主要模块。首先，设计不同格式的提示以引导模型理解任务；其次，进行指令调优以提升模型性能；最后，通过实验评估模型在TFV任务中的表现。

关键创新：本文的主要创新在于通过提示工程和指令调优显著提升了LLMs在TFV任务中的能力，这与传统方法的依赖小规模模型和固定任务格式形成了鲜明对比。

关键设计：在提示设计中，关注零-shot提示的格式和上下文示例的数量，优化了模型的输入结构，以提高其理解和推理能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，经过提示工程，LLMs在零-shot TFV任务中取得了可接受的结果，且在少-shot设置下性能显著提升。指令调优后，模型在TFV任务中的准确性提高了XX%，显示出强大的潜力和应用价值。

🎯 应用场景

该研究的潜在应用领域包括自动化内容审核、信息验证和智能问答系统等。通过提升大型语言模型在表格事实验证中的能力，可以有效提高信息的准确性和可靠性，进而推动相关领域的研究和应用发展。

📄 摘要（原文）

Table-based Fact Verification (TFV) aims to extract the entailment relation between statements and structured tables. Existing TFV methods based on small-scaled models suffer from insufficient labeled data and weak zero-shot ability. Recently, the appearance of Large Language Models (LLMs) has gained lots of attraction in research fields. They have shown powerful zero-shot and in-context learning abilities on several NLP tasks, but their potential on TFV is still unknown. In this work, we implement a preliminary study about whether LLMs are table-based fact-checkers. In detail, we design diverse prompts to explore how the in-context learning can help LLMs in TFV, i.e., zero-shot and few-shot TFV capability. Besides, we carefully design and construct TFV instructions to study the performance gain brought by the instruction tuning of LLMs. Experimental results demonstrate that LLMs can achieve acceptable results on zero-shot and few-shot TFV with prompt engineering, while instruction-tuning can stimulate the TFV capability significantly. We also make some valuable findings about the format of zero-shot prompts and the number of in-context examples. Finally, we analyze some possible directions to promote the accuracy of TFV via LLMs, which is beneficial to further research of table reasoning.