SH2: Self-Highlighted Hesitation Helps You Decode More Truthfully

📄 arXiv: 2401.05930v4 📥 PDF

作者: Jushi Kai, Tianhang Zhang, Hai Hu, Zhouhan Lin

分类: cs.CL, cs.AI

发布日期: 2024-01-11 (更新: 2024-10-07)

备注: EMNLP 2024 Findings

💡 一句话要点

提出自我高亮犹豫方法以提高语言模型的真实解码能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 文本生成 信息理论 幻觉问题 自我高亮 对比解码 事实信息

📋 核心要点

  1. 现有大型语言模型在生成文本时容易出现幻觉现象，导致生成内容的真实性不足。
  2. 本文提出的自我高亮犹豫（SH2）方法，通过强调低概率标记来提升模型对事实信息的关注。
  3. 实验结果显示，SH2在多个幻觉任务上显著提升了LLaMA和Mistral模型的性能，证明了其有效性。

📝 摘要（中文）

大型语言模型（LLMs）在文本生成方面表现出色，但仍面临幻觉问题。本文提出了一种推理时的方法——自我高亮犹豫（SH2），旨在帮助LLMs更真实地解码。SH2基于信息理论的一个简单事实，即LLMs预测的低概率标记往往比其他标记更具信息量。分析表明，LLMs分配低概率的标记更可能与事实信息相关。因此，我们通过选择低概率的标记并将其与原始上下文连接，来“高亮”事实信息，迫使模型在生成前反复阅读和犹豫这些标记。实验结果表明，SH2无需额外数据或模型，能够有效帮助LLMs提取事实知识并区分幻觉上下文。SH2在多个幻觉任务上对LLaMA-7b、LLaMA2-7b和Mistral-7b均取得显著且一致的提升。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在文本生成中出现的幻觉问题，现有方法往往无法有效区分真实信息与虚假内容。

核心思路：SH2方法的核心思想是利用信息理论中的低概率标记更具信息量的特性，通过高亮这些标记来引导模型生成更真实的内容。

技术框架：SH2的整体架构包括两个主要阶段：首先，选择低概率标记并将其与原始上下文连接；其次，在解码过程中采用对比解码技术，强调犹豫带来的输出概率差异。

关键创新：SH2的创新点在于通过自我高亮低概率标记，迫使模型在生成前多次关注这些信息，从而提高生成内容的真实性。这一方法与传统的基于高概率标记的生成方法形成鲜明对比。

关键设计：在SH2中，选择低概率标记的策略和对比解码的实现是关键设计细节，确保模型在生成过程中能够有效地识别和利用这些信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SH2在多个幻觉任务上对LLaMA-7b、LLaMA2-7b和Mistral-7b模型的性能提升显著，具体提升幅度达到XX%（具体数据未知），有效帮助模型更好地提取事实知识。

🎯 应用场景

该研究的潜在应用场景包括新闻生成、对话系统和内容创作等领域，能够显著提高生成文本的真实性和可靠性。未来，SH2方法有望在更多语言模型中推广应用，进一步减少幻觉现象的发生。

📄 摘要（原文）

Large language models (LLMs) demonstrate great performance in text generation. However, LLMs are still suffering from hallucinations. In this work, we propose an inference-time method, Self-Highlighted Hesitation (SH2), to help LLMs decode more truthfully. SH2 is based on a simple fact rooted in information theory that for an LLM, the tokens predicted with lower probabilities are prone to be more informative than others. Our analysis shows that the tokens assigned with lower probabilities by an LLM are more likely to be closely related to factual information, such as nouns, proper nouns, and adjectives. Therefore, we propose to ''highlight'' the factual information by selecting the tokens with the lowest probabilities and concatenating them to the original context, thus forcing the model to repeatedly read and hesitate on these tokens before generation. During decoding, we also adopt contrastive decoding to emphasize the difference in the output probabilities brought by the hesitation. Experimental results demonstrate that our SH2, requiring no additional data or models, can effectively help LLMs elicit factual knowledge and distinguish hallucinated contexts. Significant and consistent improvements are achieved by SH2 for LLaMA-7b, LLaMA2-7b and Mistral-7b on multiple hallucination tasks.