Towards Verifiable Text Generation with Evolving Memory and Self-Reflection

📄 arXiv: 2312.09075v3 📥 PDF

作者: Hao Sun, Hengyi Cai, Bo Wang, Yingyan Hou, Xiaochi Wei, Shuaiqiang Wang, Yan Zhang, Dawei Yin

分类: cs.CL

发布日期: 2023-12-14 (更新: 2024-10-18)

备注: EMNLP 2024 Main Conference

💡 一句话要点

提出VTG框架，通过演进记忆和自反思实现可验证的文本生成。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 可验证文本生成 大型语言模型 知识密集型任务 演进记忆 自反思 主动检索 多样化查询

📋 核心要点

  1. 大型语言模型易产生幻觉，可验证文本生成旨在解决此问题，但面临焦点转移、推理复杂和精度/广度权衡等挑战。
  2. VTG框架通过演进记忆保留关键文档，利用双层验证器进行自反思，并采用主动检索和多样化查询提升文档质量。
  3. 在五个数据集上的实验表明，VTG在知识密集型任务中显著优于现有基线方法，验证了其有效性。

📝 摘要（中文）

大型语言模型（LLMs）在语言理解和生成方面表现出色，但常产生事实不正确的信息，即幻觉。可验证文本生成是一种有前景的解决方案，它提示LLMs生成带有引用的内容以进行准确性验证。然而，由于焦点转移现象、将声明与正确引用对齐所需的复杂推理以及检索文档的精度和广度之间的两难，可验证文本生成并非易事。本文提出了VTG，一个具有演进记忆和自反思的可验证文本生成创新框架。VTG引入了演进长短期记忆来保留有价值和最近的文档。提出了一个配备证据查找器的双层验证器，以重新思考和反思声明与引用之间的关系。此外，主动检索和多样化查询生成被用于提高检索文档的精度和广度。我们在三个知识密集型任务的五个数据集上进行了大量实验，结果表明VTG明显优于基线。

🔬 方法详解

问题定义：论文旨在解决大型语言模型在文本生成过程中产生幻觉，即生成不准确或不真实的陈述的问题。现有方法在可验证文本生成方面存在不足，包括难以保持焦点、推理过程复杂以及检索到的证据文档的精度和广度难以兼顾。

核心思路：VTG的核心思路是通过构建一个具有演进记忆和自反思能力的框架，使模型能够更好地检索、选择和利用证据，从而生成更准确、更可信的文本。演进记忆用于存储和更新有价值的文档，自反思机制则帮助模型评估生成内容与证据之间的关系。

技术框架：VTG框架包含以下主要模块：1) 演进长短期记忆（Evolving LSTM）：用于存储和更新检索到的文档，保留有价值和最近的文档。2) 双层验证器（Two-Tier Verifier）：包含证据查找器，用于评估生成内容与引用之间的关系，进行自反思。3) 主动检索（Active Retrieval）：通过迭代查询和检索，逐步完善证据集合。4) 多样化查询生成（Diverse Query Generation）：生成不同的查询，以提高检索文档的覆盖范围。

关键创新：VTG的关键创新在于其演进记忆和自反思机制。演进记忆能够动态地更新和维护知识库，避免信息过时或遗漏。自反思机制则使模型能够主动评估生成内容的质量，并根据评估结果进行调整。此外，主动检索和多样化查询生成策略也提高了检索证据的质量和覆盖范围。

关键设计：演进LSTM的具体实现细节（例如，记忆更新策略、遗忘因子等）未知。双层验证器的具体结构和损失函数未知。主动检索的迭代次数和查询生成策略的具体参数设置未知。多样化查询生成的方法（例如，使用哪些prompting策略）未知。

📊 实验亮点

论文在五个数据集上进行了实验，涵盖三个知识密集型任务。实验结果表明，VTG框架显著优于现有基线方法，证明了其在可验证文本生成方面的有效性。具体的性能提升数据未知，但摘要中明确指出是“significantly outperforms baselines”。

🎯 应用场景

VTG框架可应用于需要高度准确性和可信度的文本生成场景，例如新闻报道、科学写作、法律文件生成等。通过提供可验证的证据，VTG可以减少虚假信息的传播，提高生成内容的质量和可信度，并为用户提供更可靠的信息来源。

📄 摘要（原文）

Despite the remarkable ability of large language models (LLMs) in language comprehension and generation, they often suffer from producing factually incorrect information, also known as hallucination. A promising solution to this issue is verifiable text generation, which prompts LLMs to generate content with citations for accuracy verification. However, verifiable text generation is non-trivial due to the focus-shifting phenomenon, the intricate reasoning needed to align the claim with correct citations, and the dilemma between the precision and breadth of retrieved documents. In this paper, we present VTG, an innovative framework for Verifiable Text Generation with evolving memory and self-reflection. VTG introduces evolving long short-term memory to retain both valuable documents and recent documents. A two-tier verifier equipped with an evidence finder is proposed to rethink and reflect on the relationship between the claim and citations. Furthermore, active retrieval and diverse query generation are utilized to enhance both the precision and breadth of the retrieved documents. We conduct extensive experiments on five datasets across three knowledge-intensive tasks and the results reveal that VTG significantly outperforms baselines.