Graph Elicitation for Guiding Multi-Step Reasoning in Large Language Models

📄 arXiv: 2311.09762v2 📥 PDF

作者: Jinyoung Park, Ameen Patel, Omar Zia Khan, Hyunwoo J. Kim, Joo-Kyung Kim

分类: cs.CL, cs.AI, cs.LG

发布日期: 2023-11-16 (更新: 2024-06-22)

备注: Preprint

💡 一句话要点

提出GE-Reasoning方法以优化大语言模型的多步推理

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 多步推理 知识三元组 链式思维 问答系统

📋 核心要点

  1. 现有方法在直接生成子问题时，常出现冗余或无关的问题，影响多步推理的效果。
  2. 本文提出GE-Reasoning方法，通过生成知识三元组来引导LLMs生成合适的子问题和答案。
  3. 实验结果显示，该方法在多跳问答基准数据集上显著优于传统的CoT提示方法，提升了推理能力。

📝 摘要（中文）

链式思维（CoT）提示及子问题生成与回答提升了大语言模型（LLMs）的多步推理能力。然而，直接提示LLMs生成子问题的效果不佳，常导致冗余或无关的问题。为此，本文提出GE-Reasoning方法，指导LLMs生成合适的子问题及其对应答案。具体而言，给定输入问题，首先提示LLM生成知识三元组，形成问题的图表示。与传统知识三元组不同，我们的方法允许变量作为头或尾实体，有效地将问题表示为知识三元组。其次，对于每个三元组，LLM生成相应的子问题和答案，并利用知识检索。如果预测置信度超过阈值，则将子问题和预测纳入后续处理的提示中。这种方法确保子问题基于提取的知识三元组，从而减少冗余和无关性。实验表明，我们的方法在多跳问答基准数据集上优于之前的CoT提示方法及其变体。

🔬 方法详解

问题定义：本文旨在解决大语言模型在多步推理中直接生成子问题时的冗余和无关性问题。现有方法在生成子问题时效果不佳，影响了推理的准确性和效率。

核心思路：GE-Reasoning方法通过首先生成知识三元组，形成问题的图表示，进而引导LLMs生成更为相关的子问题和答案。这种设计旨在确保生成的子问题与知识基础相结合，从而提高推理的有效性。

技术框架：整体流程包括两个主要阶段：第一阶段，提示LLM生成知识三元组；第二阶段，针对每个三元组生成相应的子问题和答案，并进行知识检索。若预测置信度超过设定阈值，则将生成的子问题纳入后续处理。

关键创新：本文的主要创新在于允许变量作为知识三元组的头或尾实体，这一设计使得问题的表示更加灵活和有效，显著区别于传统方法。

关键设计：在参数设置上，设定了预测置信度的阈值，以确保生成的子问题具有较高的相关性。此外，采用了知识检索机制，以增强生成答案的准确性和可靠性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，GE-Reasoning方法在多跳问答基准数据集上相较于传统CoT提示方法，性能提升显著，具体提升幅度达到XX%（具体数据待补充），有效减少了冗余和无关问题的生成。

🎯 应用场景

该研究的潜在应用领域包括教育、智能问答系统和信息检索等。通过优化多步推理能力，GE-Reasoning方法能够提升用户在复杂问题上的交互体验，具有重要的实际价值和未来影响。

📄 摘要（原文）

Chain-of-Thought (CoT) prompting along with sub-question generation and answering has enhanced multi-step reasoning capabilities of Large Language Models (LLMs). However, prompting the LLMs to directly generate sub-questions is suboptimal since they sometimes generate redundant or irrelevant questions. To deal with them, we propose a GE-Reasoning method, which directs LLMs to generate proper sub-questions and corresponding answers. Concretely, given an input question, we first prompt the LLM to generate knowledge triplets, forming a graph representation of the question. Unlike conventional knowledge triplets, our approach allows variables as head or tail entities, effectively representing a question as knowledge triplets. Second, for each triplet, the LLM generates a corresponding sub-question and answer along with using knowledge retrieval. If the prediction confidence exceeds a threshold, the sub-question and prediction are incorporated into the prompt for subsequent processing. This approach encourages that sub-questions are grounded in the extracted knowledge triplets, reducing redundancy and irrelevance. Our experiments demonstrate that our approach outperforms previous CoT prompting methods and their variants on multi-hop question answering benchmark datasets.