Chain of Evidences and Evidence to Generate: Prompting for Context Grounded and Retrieval Augmented Reasoning

📄 arXiv: 2401.05787v2 📥 PDF

作者: Md Rizwan Parvez

分类: cs.CL

发布日期: 2024-01-11 (更新: 2025-03-17)

备注: Accepted at NAACL KnowledgeNLP 2025

🔗 代码/项目: HUGGINGFACE

💡 一句话要点

提出链证据与生成证据框架以解决推理任务中的局限性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 链式思维 推理任务 证据提取 大语言模型 上下文理解 知识密集型任务 性能提升

📋 核心要点

  1. 现有链式思维提示法在推理任务中存在上下文基础不足和输出不一致等问题。
  2. 本文提出的链证据（CoE）和生成证据（E2G）策略，通过提取上下文中的思维序列作为证据，提升推理的准确性和效率。
  3. 在LogiQA基准上，CoE在GPT-4上取得53.8%的准确率，超越了CoT、ToT和CR等方法，展现了显著的性能提升。

📝 摘要（中文）

链式思维（CoT）提示法在大语言模型（LLMs）的推理任务中取得了显著进展，但现有方法存在有限的上下文基础、幻觉/不一致输出生成和迭代缓慢等问题。为了解决这些挑战，本文提出了一种新颖的单步/双步零-shot提示框架，基于链证据（CoE）和生成证据（E2G）两种独特策略。该方法通过专注于上下文中明确提到的思维序列，提取证据，从而指导LLM的输出生成过程，提升了推理的精确性和效率。实验结果表明，该框架在多个知识密集型推理和生成任务中表现优异，超越了现有基线方法。

🔬 方法详解

问题定义：本文旨在解决现有链式思维提示法在推理任务中存在的上下文基础不足、输出不一致和迭代缓慢等痛点。这些问题导致了LLMs在处理复杂推理时的效率和准确性下降。

核心思路：提出的链证据（CoE）和生成证据（E2G）策略，通过聚焦于上下文中明确的思维序列，提取出可验证的证据，从而指导LLM的输出生成。这种方法旨在提高推理过程的可靠性和速度。

技术框架：该框架包括两个主要阶段：第一阶段是提取上下文中的思维序列作为证据，第二阶段是利用这些证据指导LLM生成输出。整体流程强调了证据在决策过程中的重要性。

关键创新：最重要的创新点在于将证据提取与推理生成相结合，形成了一种新的提示框架。这一方法与传统的链式思维方法相比，能够有效减少幻觉现象，并提升推理的上下文相关性。

关键设计：在设计中，采用了特定的参数设置和损失函数，以确保提取的证据能够有效支持推理过程。同时，网络结构经过优化，以适应新的提示框架，提升了模型的整体性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在LogiQA基准测试中，使用GPT-4的CoE方法达到了53.8%的新状态准确率，超越了CoT、ToT和CR等方法，分别提升了18%、11%和9%。此外，CoE与PaLM-2结合的表现也优于Gemini Ultra，F1得分达到了83.3，提升了0.9个F1点。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、自动化推理和知识图谱构建等。通过提升LLMs在推理任务中的表现，该框架能够为实际应用提供更高的准确性和效率，推动相关技术的发展和应用。未来，该方法可能在更多复杂推理场景中展现出更大的价值。

📄 摘要（原文）

While chain-of-thoughts (CoT) prompting has revolutionized how LLMs perform reasoning tasks, its current methods and variations (e.g, Self-consistency, ReACT, Reflexion, Tree-of-Thoughts (ToT), Cumulative Reasoning (CR) etc.,) suffer from limitations like limited context grounding, hallucination/inconsistent output generation, and iterative sluggishness. To overcome these challenges, we introduce a novel mono/dual-step zero-shot prompting framework built upon two unique strategies Chain of Evidences (CoE)} and Evidence to Generate (E2G). Instead of unverified reasoning claims, our innovative approaches leverage the power of "evidence for decision making" by first focusing exclusively on the thought sequences explicitly mentioned in the context which then serve as extracted evidence, guiding the LLM's output generation process with greater precision and efficiency. This simple yet potent approach unlocks the full potential of chain-of-thoughts prompting, facilitating faster, more reliable, and contextually aware reasoning in LLMs. Our framework consistently achieves remarkable results across various knowledge-intensive reasoning and generation tasks, surpassing baseline approaches with state-of-the-art LLMs. For instance, (i) on the LogiQA benchmark using GPT-4, CoE achieves a new state-of-the-art accuracy of 53.8%, surpassing CoT by 18%, ToT by 11%, and CR by 9%; (ii) CoE with PaLM-2 outperforms the variable-shot performance of Gemini Ultra by 0.9 F1 points, achieving an F1 score of 83.3 on DROP. We release our prompts and outputs on these benchmarks as a new instruction tuning dataset for future research at https://huggingface.co/datasets/kagnlp/Chain-of-Evidences/.