HGOT: Hierarchical Graph of Thoughts for Retrieval-Augmented In-Context Learning in Factuality Evaluation

📄 arXiv: 2402.09390v2 📥 PDF

作者: Yihao Fang, Stephen W. Thomas, Xiaodan Zhu

分类: cs.AI, cs.CL

发布日期: 2024-02-14 (更新: 2024-07-02)

💡 一句话要点

提出HGOT以解决大语言模型的事实性评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 事实性评估 大型语言模型 检索增强 图结构 自一致性投票 信息检索 知识图谱 问答系统

📋 核心要点

  1. 现有方法在处理复杂查询时容易导致信息丢失，影响事实性评估的准确性。
  2. 论文提出的HGOT通过分层图结构和分而治之策略，优化了检索过程和答案选择。
  3. 实验结果显示HGOT在多个基准测试中显著提升了模型的性能，验证了其有效性。

📝 摘要（中文）

随着大型语言模型（LLMs）在众多应用中的广泛采用，事实性和幻觉倾向已成为一个重要问题。为了解决这一问题，特别是在检索增强的上下文学习中，本文提出了分层思维图（HGOT），这是一种结构化的多层图方法，旨在增强上下文学习中的相关段落检索。该框架利用LLMs的规划能力，采用分而治之的策略将复杂查询分解为可管理的子查询，并改进了自一致性多数投票的答案选择方法，结合了最近提出的引用召回和精度指标来评估思维的质量，从而将答案的可信度与思维的质量内在关联。实验表明，HGOT在FEVER任务中优于竞争模型达7%，并在Open-SQuAD中与Retrieve-then-Read和HotPotQA中的DSP模型表现相当，展示了其在提升LLMs事实性方面的有效性。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在事实性评估中面临的幻觉问题，现有方法在处理复杂查询时常常导致信息丢失，影响结果的准确性。

核心思路：HGOT的核心思路是通过分层图结构和分而治之的策略，将复杂查询分解为多个子查询，从而提高检索的相关性和答案选择的准确性。

技术框架：HGOT框架包括多个主要模块：首先是查询分解模块，将复杂查询拆分；其次是检索模块，基于分层图结构进行相关段落的检索；最后是答案选择模块，利用改进的多数投票机制进行答案评估。

关键创新：HGOT的关键创新在于引入了分层图结构和加权多数投票机制，优先考虑引用质量，从而提升答案的可信度。这一设计与传统方法的简单投票机制有本质区别。

关键设计：在设计中，HGOT采用了引用频率和质量、自一致性置信度等因素作为评分标准，并在多数投票中引入了加权系统，以确保高质量思维的优先级。实验中还优化了检索模块的排名策略。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

HGOT在FEVER任务中表现优异，较竞争模型提升了7%的准确率，并在Open-SQuAD和HotPotQA等基准测试中与领先模型相当，展示了其在事实性评估中的有效性和广泛适用性。

🎯 应用场景

该研究的潜在应用领域包括信息检索、问答系统和知识图谱构建等。通过提高大型语言模型的事实性评估能力，HGOT能够在教育、法律和医疗等领域提供更为准确的信息支持，具有重要的实际价值和未来影响。

📄 摘要（原文）

With the widespread adoption of large language models (LLMs) in numerous applications, the challenge of factuality and the propensity for hallucinations has emerged as a significant concern. To address this issue, particularly in retrieval-augmented in-context learning, we introduce the hierarchical graph of thoughts (HGOT), a structured, multi-layered graph approach designed to enhance the retrieval of pertinent passages during in-context learning. The framework utilizes the emergent planning capabilities of LLMs, employing the divide-and-conquer strategy to break down complex queries into manageable sub-queries. It refines self-consistency majority voting for answer selection, which incorporates the recently proposed citation recall and precision metrics to assess the quality of thoughts, linking an answer's credibility intrinsically to the thought's quality. This methodology introduces a weighted system in majority voting, prioritizing answers based on the citation quality of their thoughts. Additionally, we propose a scoring mechanism for evaluating retrieved passages, considering factors such as citation frequency and quality, self-consistency confidence, and the retrieval module's ranking. Experiments indicate that HGOT excels as a versatile approach, outperforming competing models in FEVER by up to $7\%$ and matching leading models such as Retrieve-then-Read in Open-SQuAD, and DSP in HotPotQA, demonstrating its efficacy in enhancing LLMs' factuality.