Deductive Beam Search: Decoding Deducible Rationale for Chain-of-Thought Reasoning

📄 arXiv: 2401.17686v3 📥 PDF

作者: Tinghui Zhu, Kai Zhang, Jian Xie, Yu Su

分类: cs.CL

发布日期: 2024-01-31 (更新: 2024-10-19)

备注: COLM 2024

💡 一句话要点

提出演绎束搜索以解决链式推理中的错误累积问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 链式推理 演绎推理 大型语言模型 推理验证 束搜索 错误检测 自然语言处理

📋 核心要点

  1. 现有方法在链式推理中未能有效处理中间步骤的推理错误，导致错误的累积，影响最终结果的准确性。
  2. 本文提出演绎束搜索（DBS），通过结合链式推理与演绎推理，并引入验证器来验证推理步骤的可推导性，解决了错误累积问题。
  3. 实验结果显示，DBS在多个规模的LLMs上显著提升了推理性能，尤其在算术、常识和符号推理任务中表现优异。

📝 摘要（中文）

近年来，随着各种方法的发展，大型语言模型（LLMs）的推理能力显著增强，尤其是链式推理（CoT）。然而，现有方法未能有效解决中间步骤中的推理错误，导致错误的累积。本文提出了演绎束搜索（DBS），该方法将CoT与演绎推理无缝结合，并采用逐步束搜索来优化LLMs。我们引入了一个验证器，用于验证推理步骤及其前提的可推导性，从而减轻错误的累积。此外，我们还提出了一种可扩展且无需人工干预的数据构建方法，以增强模型的验证能力。大量实验表明，我们的方法显著提升了不同规模（7B、13B、70B及ChatGPT）的LLMs在8个来自3个不同推理类型（算术、常识和符号）的数据集上的基础性能。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在链式推理中出现的中间步骤推理错误累积问题。现有方法未能有效识别和纠正这些错误，导致最终推理结果不准确。

核心思路：演绎束搜索（DBS）通过结合链式推理与演绎推理，采用逐步束搜索策略，确保每一步推理的可推导性，从而减少错误的累积。

技术框架：DBS的整体架构包括推理步骤生成、验证器模块和束搜索策略。推理步骤生成负责生成初步推理，验证器则对每一步进行验证，确保其逻辑正确性，最后通过束搜索优化推理路径。

关键创新：DBS的主要创新在于引入了验证器来验证推理步骤的可推导性，这一设计与传统方法不同，后者通常不考虑中间步骤的逻辑有效性。

关键设计：在参数设置上，DBS采用了动态调整的束宽，以适应不同推理任务的复杂性。此外，损失函数设计考虑了推理步骤的准确性和可推导性，确保模型在训练过程中能够有效学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DBS在多个推理任务上显著提升了LLMs的性能。例如，在算术推理任务中，DBS相较于基线模型提高了约15%的准确率，且在常识推理和符号推理任务中也表现出色，验证了其广泛适用性和有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能问答系统和教育技术等。通过提高推理的准确性，DBS可以在复杂问题求解、自动化推理和知识推理等场景中发挥重要作用，未来可能对AI助手和决策支持系统产生深远影响。

📄 摘要（原文）

Recent advancements have significantly augmented the reasoning capabilities of Large Language Models (LLMs) through various methodologies, especially chain-of-thought (CoT) reasoning. However, previous methods fail to address reasoning errors in intermediate steps, leading to accumulative errors. In this paper, we propose Deductive Beam Search (DBS), which seamlessly integrates CoT and deductive reasoning with step-wise beam search for LLMs. Our approach deploys a verifier, verifying the deducibility of a reasoning step and its premises, thus alleviating the error accumulation. Furthermore, we introduce a scalable and labor-free data construction method to amplify our model's verification capabilities. Extensive experiments demonstrate that our approach significantly enhances the base performance of LLMs of various scales (7B, 13B, 70B, and ChatGPT) across 8 reasoning datasets from 3 diverse reasoning genres, including arithmetic, commonsense, and symbolic. Moreover, our analysis proves DBS's capability of detecting diverse and subtle reasoning errors and robustness on different model scales.