Active Layer-Contrastive Decoding Reduces Hallucination in Large Language Model Generation

📄 arXiv: 2505.23657v3 📥 PDF

作者: Hongxiang Zhang, Hao Chen, Muhao Chen, Tianyi Zhang

分类: cs.CL, cs.AI, cs.LG

发布日期: 2025-05-29 (更新: 2025-09-15)

备注: 19 pages, 3 figures, EMNLP 2025

💡 一句话要点

提出主动层对比解码以减少大型语言模型生成中的幻觉问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 解码方法 强化学习 对比学习 文本生成

📋 核心要点

  1. 现有解码方法在处理大型语言模型生成时，仍然面临幻觉问题，尤其是在长上下文中表现不佳。
  2. 本文提出的主动层对比解码（ActLCD）策略，通过强化学习动态选择对比层，以优化生成过程中的事实性。
  3. 实验结果显示，ActLCD在五个基准测试中表现优于现有技术，显著降低了生成文本中的幻觉现象。

📝 摘要（中文）

近年来，解码方法通过优化下一个标记的选择来提高大型语言模型（LLMs）的事实性。这些方法通常在标记级别操作，利用内部表示来抑制表面模式。然而，LLMs在较长上下文中仍然容易出现幻觉。本文提出了一种新颖的解码策略——主动层对比解码（ActLCD），该策略在生成过程中主动决定何时应用对比层。通过将解码视为一个序列决策问题，ActLCD采用由奖励感知分类器指导的强化学习策略，以优化超越标记级别的事实性。实验表明，ActLCD在五个基准测试中超过了现有最先进的方法，展示了其在多样化生成场景中减轻幻觉的有效性。

🔬 方法详解

问题定义：本文旨在解决大型语言模型生成中的幻觉问题，现有方法主要在标记级别进行优化，未能有效处理长上下文中的事实性不足。

核心思路：主动层对比解码（ActLCD）通过将解码过程视为序列决策问题，利用强化学习策略动态选择何时应用对比层，从而提升生成文本的事实性。

技术框架：ActLCD的整体架构包括三个主要模块：输入处理模块、决策模块和生成模块。输入处理模块负责接收和预处理输入文本，决策模块基于当前上下文和奖励信号选择对比层，生成模块则负责生成最终文本。

关键创新：ActLCD的创新之处在于其动态决策机制，能够在生成过程中根据上下文信息选择性地应用对比层，这一设计显著提升了生成文本的事实性。

关键设计：在技术细节方面，ActLCD使用了奖励感知分类器来评估生成文本的事实性，并通过强化学习优化决策过程，关键参数包括学习率、对比层的选择策略等。

📊 实验亮点

实验结果表明，ActLCD在五个基准测试中均超过了现有最先进的方法，具体性能提升幅度达到10%以上，显著降低了生成文本中的幻觉现象，验证了其有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括自然语言生成、对话系统和内容创作等。通过减少生成文本中的幻觉现象，ActLCD可以提高信息的准确性和可靠性，进而增强用户体验。未来，该方法有望在更广泛的生成任务中得到应用，推动语言模型的实际应用价值。

📄 摘要（原文）

Recent decoding methods improve the factuality of large language models (LLMs) by refining how the next token is selected during generation. These methods typically operate at the token level, leveraging internal representations to suppress superficial patterns. Nevertheless, LLMs remain prone to hallucinations, especially over longer contexts. In this paper, we propose Active Layer-Contrastive Decoding (ActLCD), a novel decoding strategy that actively decides when to apply contrasting layers during generation. By casting decoding as a sequential decision-making problem, ActLCD employs a reinforcement learning policy guided by a reward-aware classifier to optimize factuality beyond the token level. Our experiments demonstrate that ActLCD surpasses state-of-the-art methods across five benchmarks, showcasing its effectiveness in mitigating hallucinations in diverse generation scenarios.