Minimizing Factual Inconsistency and Hallucination in Large Language Models

📄 arXiv: 2311.13878v1 📥 PDF

作者: Muneeswaran I, Shreya Saxena, Siva Prasad, M V Sai Prakash, Advaith Shankar, Varun V, Vishal Vaddina, Saisubramaniam Gopalakrishnan

分类: cs.CL, cs.AI

发布日期: 2023-11-23

💡 一句话要点

提出多阶段框架以减少大型语言模型中的事实不一致性和幻觉问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 事实一致性 幻觉问题 推理生成 验证机制 生命科学 回答质量 透明度

📋 核心要点

  1. 现有大型语言模型在生成回答时常出现事实不准确或幻觉现象，影响用户信任。
  2. 本文提出的多阶段框架通过生成推理、验证和修正推理来提升回答的准确性和透明度。
  3. 实验结果表明，该框架使GPT-3.5-turbo在两个数据集上提高了14-25%的忠实度和16-22%的准确性。

📝 摘要（中文）

大型语言模型（LLMs）因其在语言相关任务中的卓越表现而广泛应用于医疗、教育和金融等关键领域。然而，LLMs容易生成事实不准确的回答或“幻觉”，这可能导致用户信任度下降。为了解决这一问题，本文提出了一种多阶段框架，首先生成推理过程，然后验证和修正不正确的推理，并将其作为支持性参考生成答案。生成的推理增强了答案的透明度，并通过使用推理和参考来提供模型得出答案的过程洞察。我们在生命科学行业的药物相关查询中展示了该框架在提高响应质量方面的有效性。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在生成回答时的事实不一致性和幻觉问题。现有方法往往缺乏透明度，导致用户对生成内容的信任度降低。

核心思路：提出的框架通过多阶段处理，首先生成推理，然后验证和修正这些推理，最终利用这些推理生成更准确的答案。这种设计旨在提升回答的透明度和准确性。

技术框架：整体架构包括三个主要阶段：1) 生成推理；2) 验证和修正推理；3) 基于推理生成最终答案。每个阶段都旨在提升信息的准确性和可靠性。

关键创新：最重要的创新在于通过推理生成和验证机制，显著提升了大型语言模型的回答质量。这一方法与传统的检索增强生成（RAG）方法相比，提供了更高的透明度和准确性。

关键设计：在框架中，推理生成采用了特定的参数设置和损失函数，以确保推理的准确性和有效性。此外，模型的微调策略也针对小型开放访问LLMs进行了优化，提升了其性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，基于该框架的GPT-3.5-turbo在两个数据集上忠实度提升14-25%，准确性提升16-22%。此外，微调样本使小型开放访问LLMs的准确性提高了33-42%，在商业模型中与RAG方法竞争。

🎯 应用场景

该研究的潜在应用领域包括医疗、教育和金融等行业，能够有效提升大型语言模型在关键领域的回答质量和用户信任度。通过增强模型的透明度和准确性，未来可能推动更广泛的AI应用，促进人机交互的信任建立。

📄 摘要（原文）

Large Language Models (LLMs) are widely used in critical fields such as healthcare, education, and finance due to their remarkable proficiency in various language-related tasks. However, LLMs are prone to generating factually incorrect responses or "hallucinations," which can lead to a loss of credibility and trust among users. To address this issue, we propose a multi-stage framework that generates the rationale first, verifies and refines incorrect ones, and uses them as supporting references to generate the answer. The generated rationale enhances the transparency of the answer and our framework provides insights into how the model arrived at this answer, by using this rationale and the references to the context. In this paper, we demonstrate its effectiveness in improving the quality of responses to drug-related inquiries in the life sciences industry. Our framework improves traditional Retrieval Augmented Generation (RAG) by enabling OpenAI GPT-3.5-turbo to be 14-25% more faithful and 16-22% more accurate on two datasets. Furthermore, fine-tuning samples based on our framework improves the accuracy of smaller open-access LLMs by 33-42% and competes with RAG on commercial models.