TruthX: Alleviating Hallucinations by Editing Large Language Models in Truthful Space

📄 arXiv: 2402.17811v2 📥 PDF

作者: Shaolei Zhang, Tian Yu, Yang Feng

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-02-27 (更新: 2024-06-05)

备注: Accepted to ACL 2024 main conference, Project Page: https://ictnlp.github.io/TruthX-site/

💡 一句话要点

提出TruthX以解决大型语言模型的虚假生成问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 真实信息生成 虚假信息 自编码器 对比学习 推理干预 自然语言处理

📋 核心要点

  1. 现有大型语言模型在生成过程中常常会产生虚假信息，影响其可靠性和应用效果。
  2. TruthX通过在推理时编辑LLM内部表示，激活其真实信息生成能力，采用自编码器和对比学习技术。
  3. 实验结果显示，TruthX在TruthfulQA基准测试中使13个LLM的真实信息生成能力平均提升20%。

📝 摘要（中文）

大型语言模型（LLMs）在生成过程中常常会出现虚假信息，尽管它们具备正确的知识。激活LLM的真实信息生成能力是充分发挥其知识潜力的关键。本文提出了TruthX，一种在推理时干预的方法，通过识别和编辑LLM内部表示中的特征来激活真实信息。TruthX采用自编码器将LLM的表示映射到语义和真实潜在空间，并应用对比学习识别真实空间中的编辑方向。在推理过程中，通过编辑LLM的内部表示，TruthX有效提升了LLM的真实信息生成能力。实验表明，TruthX在TruthfulQA基准测试中使13个先进LLM的真实信息生成能力平均提升了20%。进一步分析表明，TruthX可以通过编辑LLM内部表示中的一个向量来控制其生成真实或虚假的响应。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在生成过程中出现的虚假信息问题。现有方法未能有效激活LLM的真实信息生成能力，导致生成的内容不够可靠。

核心思路：TruthX的核心思路是通过识别和编辑LLM内部表示中的特征，激活其真实信息生成能力。该方法利用自编码器将表示映射到语义和真实潜在空间，从而实现对真实信息的有效控制。

技术框架：TruthX的整体架构包括两个主要模块：自编码器和对比学习。自编码器负责将LLM的内部表示映射到真实潜在空间，而对比学习则用于识别真实空间中的编辑方向。

关键创新：TruthX的主要创新在于通过编辑LLM内部表示中的一个向量，能够有效控制其生成真实或虚假响应。这一方法与传统的训练方法不同，提供了一种新的干预机制。

关键设计：在设计上，TruthX使用自编码器的结构来实现表示映射，并通过对比学习优化编辑方向。具体的损失函数和参数设置尚未详细说明，可能需要进一步的研究来优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TruthX在TruthfulQA基准测试中显著提升了13个先进LLM的真实信息生成能力，平均提升幅度达到20%。这一成果展示了TruthX在改善语言模型生成质量方面的有效性，具有重要的研究和应用价值。

🎯 应用场景

TruthX的研究成果在多个领域具有潜在应用价值，包括智能问答系统、对话生成和信息检索等。通过提升大型语言模型的真实信息生成能力，可以增强其在实际应用中的可靠性和用户信任度，推动自然语言处理技术的进一步发展。

📄 摘要（原文）

Large Language Models (LLMs) sometimes suffer from producing hallucinations, especially LLMs may generate untruthful responses despite knowing the correct knowledge. Activating the truthfulness within LLM is the key to fully unlocking LLM's knowledge potential. In this paper, we propose TruthX, an inference-time intervention method to activate the truthfulness of LLM by identifying and editing the features within LLM's internal representations that govern the truthfulness. TruthX employs an auto-encoder to map LLM's representations into semantic and truthful latent spaces respectively, and applies contrastive learning to identify a truthful editing direction within the truthful space. During inference, by editing LLM's internal representations in truthful space, TruthX effectively enhances the truthfulness of LLM. Experiments show that TruthX improves the truthfulness of 13 advanced LLMs by an average of 20% on TruthfulQA benchmark. Further analyses suggest that TruthX can control LLM to produce truthful or hallucinatory responses via editing only one vector in LLM's internal representations.