Stepwise Self-Consistent Mathematical Reasoning with Large Language Models

📄 arXiv: 2402.17786v1 📥 PDF

作者: Zilong Zhao, Yao Rong, Dongyang Guo, Emek Gözlüklü, Emir Gülboy, Enkelejda Kasneci

分类: cs.AI, cs.CL, cs.LG

发布日期: 2024-02-24

🔗 代码/项目: GITHUB

💡 一句话要点

提出Stepwise Self-Consistent Chain-of-Thought以解决复杂数学推理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 数学推理 大型语言模型 知识图谱 多步骤推理 算法创新 教育技术 自动化推理

📋 核心要点

  1. 现有方法在复杂数学推理中面临多步骤推理的挑战，尤其是在选择关键中间结果和探索潜在解决方案方面。
  2. 论文提出的SSC-CoT算法通过选择不同推理链的交集来确定中间步骤，并利用知识图谱来发现关键步骤。
  3. 在TriMaster100数据集上，SSC-CoT的效果是现有最先进方法的三倍，并在MATH level 5数据集上提高了7.2%的准确率。

📝 摘要（中文）

使用大型语言模型进行复杂数学推理面临挑战，主要是多步骤推理的复杂性。本文提出了一种新算法Stepwise Self-Consistent Chain-of-Thought（SSC-CoT），通过选择不同推理链的交集来确定关键中间步骤，并利用知识图谱查询相关领域知识以发现重要中间步骤。为验证SSC-CoT，作者构建了TriMaster100数据集，专注于复杂三角函数问题，包含100个问题及其评分的中间步骤。实验结果显示，SSC-CoT在TriMaster100上实现了现有最先进方法的三倍效果，并在MATH level 5数据集上超越第二名方法7.2%的准确率。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在复杂数学推理中的多步骤推理问题，现有方法在选择关键中间结果和探索潜在解决方案方面存在不足。

核心思路：SSC-CoT算法通过交叉选择不同推理链的中间步骤，结合知识图谱的查询能力，帮助模型发现关键中间步骤，从而提高推理的准确性和效率。

技术框架：SSC-CoT的整体架构包括多个模块，首先通过知识图谱获取相关领域知识，然后根据推理链的交集选择中间步骤，最后进行逐步推理以得出最终结果。

关键创新：SSC-CoT的核心创新在于其通过交集选择中间步骤的策略，以及利用知识图谱增强模型的推理能力，这与传统方法的单一推理链选择有本质区别。

关键设计：在参数设置上，SSC-CoT采用了特定的损失函数来优化推理过程，并设计了适合复杂数学问题的网络结构，以确保模型能够有效处理多步骤推理任务。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在TriMaster100数据集上，SSC-CoT的效果是现有最先进方法的三倍，展示了其在复杂数学推理中的优越性。此外，在MATH level 5数据集上，SSC-CoT的准确率比第二名方法高出7.2%，证明了其有效性。

🎯 应用场景

该研究的潜在应用领域包括教育、科学计算和自动化推理等。通过提高大型语言模型在数学推理中的表现，能够为教育工具、智能辅导系统和科研计算提供更强大的支持，未来可能推动智能教育和科研的进一步发展。

📄 摘要（原文）

Using Large Language Models for complex mathematical reasoning is difficult, primarily due to the complexity of multi-step reasoning. The main challenges of this process include (1) selecting critical intermediate results to advance the procedure, and (2) limited exploration of potential solutions. To address these issues, we introduce a novel algorithm, namely Stepwise Self-Consistent Chain-of-Thought (SSC-CoT). SSC-CoT employs a strategy of selecting intermediate steps based on the intersection of various reasoning chains. Additionally, SSC-CoT enables the model to discover critical intermediate steps by querying a knowledge graph comprising relevant domain knowledge. To validate SSC-CoT, we present a new dataset, TriMaster100, tailored for complex trigonometry problems. This dataset contains 100 questions, with each solution broken down into scored intermediate steps, facilitating a comprehensive evaluation of the mathematical reasoning process. On TriMaster100, SSC-CoT triples the effectiveness of the state-of-the-art methods. Furthermore, we benchmark SSC-CoT on the widely recognized complex mathematical question dataset, MATH level 5, and it surpasses the second-best method by 7.2% in accuracy. Code and the TriMaster100 dataset can be found at: https://github.com/zhao-zilong/ssc-cot.