Identifying the Achilles' Heel: An Iterative Method for Dynamically Uncovering Factual Errors in Large Language Models

📄 arXiv: 2401.00761v2 📥 PDF

作者: Wenxuan Wang, Yuk-Kit Chan, Zixuan Ling, Juluan Shi, Youliang Yuan, Jen-tse Huang, Yifei Zhang, Wenxiang Jiao, Zhaopeng Tu, Michael R. Lyu

分类: cs.SE, cs.AI, cs.CL

发布日期: 2024-01-01 (更新: 2026-04-29)

备注: Accepted by Findings of ACL 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出HalluHunter以解决大型语言模型中的事实错误问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 事实错误 知识图谱 自然语言处理 自动化评估 自适应选择 性能分析

📋 核心要点

  1. 现有方法在评估大型语言模型的真实性时，面临人力成本高、测试数据污染和范围有限等挑战，导致错误识别效率低下。
  2. 本文提出HalluHunter，通过知识图谱提取事实三元组，采用迭代方法生成多样化问题，系统性揭示LLMs中的事实错误。
  3. 实验结果显示，HalluHunter在测试问题中能够触发多达55%的事实错误，且在自适应选择中进一步提升了对LLMs弱点的识别能力。

📝 摘要（中文）

大型语言模型（LLMs）如ChatGPT在多种应用中具有基础性作用，但它们容易生成事实和常识错误，尤其在医疗、新闻和教育等关键领域可能误导用户。现有评估LLMs真实性的方法受限于人力成本高、测试数据污染或范围有限，影响了错误的有效识别。为此，本文提出HalluHunter，一个全自动框架，系统性地揭示LLMs中的事实不准确性。HalluHunter采用基于知识图谱的方法，提取事实三元组生成多样化的问题类型，通过迭代过程自适应选择LLMs常出错的三元组。我们的实验表明，HalluHunter能够在多达55%的测试问题中触发事实错误，且在自适应选择中进一步揭示LLMs的弱点，同时保持问题覆盖率。

🔬 方法详解

问题定义：本文旨在解决大型语言模型（LLMs）生成的事实错误问题。现有方法在评估LLMs的真实性时，通常依赖大量人力，且容易受到测试数据污染和范围限制的影响，导致错误识别效率低下。

核心思路：HalluHunter的核心思路是通过知识图谱提取事实三元组，并利用迭代方法生成多样化的问题类型，从而系统性地揭示LLMs中的事实不准确性。该方法设计旨在减少人力需求，提高错误识别的效率和准确性。

技术框架：HalluHunter的整体架构包括三个主要模块：首先是随机选择事实三元组生成问题；其次是基于LLMs的性能分析进行自适应选择；最后是针对常出错的三元组进行深度挖掘。

关键创新：HalluHunter的主要创新在于其全自动化的框架和迭代选择机制，能够有效识别LLMs的弱点，与现有方法相比，显著提高了错误识别的效率和准确性。

关键设计：在技术细节上，HalluHunter采用了基于规则的自然语言处理技术，确保生成的问题类型多样化，并通过性能分析动态调整选择策略，以最大化错误识别的覆盖率和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HalluHunter在测试的九个大型语言模型中，能够在多达55%的问题中触发事实错误，显示出其在识别LLMs弱点方面的有效性。此外，自适应选择机制进一步提升了对LLMs真实性评估的全面性和准确性。

🎯 应用场景

HalluHunter的研究成果在多个领域具有潜在应用价值，尤其是在医疗、新闻和教育等对信息准确性要求极高的场景。通过自动化识别LLMs中的事实错误，该框架能够帮助开发更可靠的人工智能系统，提升用户信任度，并为后续的模型改进提供数据支持。

📄 摘要（原文）

Large Language Models (LLMs) like ChatGPT are foundational in various applications due to their extensive knowledge from pre-training and fine-tuning. Despite this, they are prone to generating factual and commonsense errors, raising concerns in critical areas like healthcare, journalism, and education to mislead users. Current methods for evaluating LLMs' veracity are limited by the need for extensive human labor, test data contamination, or limited scope, hindering efficient and effective exposure of errors. To address these challenges, we propose HalluHunter, a novel, fully automated framework for systematically uncovering factual inaccuracies in LLMs. HalluHunter employs a knowledge-graph-based approach, extracting fact triplets to generate diverse question types for single- and multi-hop reasoning using rule-based Natural Language Processing (NLP) techniques. Its iterative process starts with random triplet selection for question generation, followed by adaptive selection in subsequent iterations, targeting triplets where LLMs frequently err based on their performance analysis. Our extensive tests on nine prominent LLMs reveal that HalluHunter can trigger factual errors in up to 55% of tested questions. Moreover, we demonstrate that HalluHunter's test cases, particularly in adaptive selection, could further expose the weaknesses in benchmarking the factuality in LLMs meanwhile maintaining the coverage of questions. All code, data, and results are available at this link: https://github.com/Mysterchan/HalluHunter.