Self-Alignment for Factuality: Mitigating Hallucinations in LLMs via Self-Evaluation

📄 arXiv: 2402.09267v2 📥 PDF

作者: Xiaoying Zhang, Baolin Peng, Ye Tian, Jingyan Zhou, Lifeng Jin, Linfeng Song, Haitao Mi, Helen Meng

分类: cs.CL, cs.AI

发布日期: 2024-02-14 (更新: 2024-06-11)

备注: 20 pages

期刊: ACL2024 Main

💡 一句话要点

提出自对齐方法以解决大型语言模型的事实准确性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 自我评估 事实准确性 幻觉现象 自知识调优 直接偏好优化 内容生成

📋 核心要点

  1. 大型语言模型在生成内容时常常出现事实不准确的问题，即幻觉现象，现有方法依赖于人工注释，效率低下。
  2. 本文提出自对齐方法，通过LLM的自我评估能力来验证生成内容的事实性，减少对人工标注的依赖。
  3. 实验表明，所提方法在多个知识密集型任务上显著提升了模型的事实准确性，验证了其有效性。

📝 摘要（中文）

尽管大型语言模型（LLMs）展现出越来越接近人类的能力，但它们在事实准确性方面仍然存在困难，即“幻觉”现象，即使在拥有相关知识的情况下。为了解决这些幻觉问题，现有方法通常需要高质量的人类事实注释。本文探讨了自对齐方法，通过利用LLM的自我评估能力提供训练信号，指导模型朝向事实准确性发展。具体而言，我们引入了自我评估组件Self-Eval，促使LLM基于自身知识验证生成响应的事实性。此外，我们设计了自知识调优（SK-Tuning），以增强LLM的自我评估能力，提高模型的置信度估计和校准。我们利用这些自注释的响应，通过直接偏好优化算法对模型进行微调。实验结果表明，所提出的自对齐方法在TruthfulQA和BioGEN的三个关键知识密集型任务上显著提升了Llama系列模型的事实准确性。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在生成内容时出现的事实不准确性问题，现有方法通常依赖于高质量的人类注释，效率低且成本高。

核心思路：论文提出自对齐方法，利用LLM的自我评估能力，促使模型基于自身知识验证生成内容的事实性，从而减少对人工标注的依赖。

技术框架：整体架构包括自我评估组件Self-Eval和自知识调优（SK-Tuning）模块，前者用于验证生成内容的事实性，后者则增强模型的自我评估能力。

关键创新：最重要的创新在于引入自我评估机制，使模型能够自我校准和提高置信度，从而有效减少幻觉现象。这一方法与传统依赖人工注释的方式本质上不同。

关键设计：在设计中，Self-Knowledge Tuning通过优化模型的置信度估计和校准，使用直接偏好优化算法对自注释的响应进行微调，确保模型在生成内容时更具事实准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提出的自对齐方法在TruthfulQA和BioGEN的三个知识密集型任务上，相较于Llama系列模型，事实准确性显著提升，具体提升幅度达到了XX%（具体数据需根据实验结果补充）。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、内容生成和对话系统等，能够显著提高这些系统生成内容的事实准确性，降低用户获取错误信息的风险。未来，该方法有望在更多需要高准确性的信息生成场景中得到应用。

📄 摘要（原文）

Despite showing increasingly human-like abilities, large language models (LLMs) often struggle with factual inaccuracies, i.e. "hallucinations", even when they hold relevant knowledge. To address these hallucinations, current approaches typically necessitate high-quality human factuality annotations. In this work, we explore Self-Alignment for Factuality, where we leverage the self-evaluation capability of an LLM to provide training signals that steer the model towards factuality. Specifically, we incorporate Self-Eval, a self-evaluation component, to prompt an LLM to validate the factuality of its own generated responses solely based on its internal knowledge. Additionally, we design Self-Knowledge Tuning (SK-Tuning) to augment the LLM's self-evaluation ability by improving the model's confidence estimation and calibration. We then utilize these self-annotated responses to fine-tune the model via Direct Preference Optimization algorithm. We show that the proposed self-alignment approach substantially enhances factual accuracy over Llama family models across three key knowledge-intensive tasks on TruthfulQA and BioGEN.