Self-Explore: Enhancing Mathematical Reasoning in Language Models with Fine-grained Rewards

📄 arXiv: 2404.10346v4 📥 PDF

作者: Hyeonbin Hwang, Doyoung Kim, Seungone Kim, Seonghyeon Ye, Minjoon Seo

分类: cs.CL

发布日期: 2024-04-16 (更新: 2024-10-03)

备注: EMNLP Findings 2024 Camera Ready

🔗 代码/项目: GITHUB

💡 一句话要点

提出Self-Explore以解决LLM推理能力自我提升问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 推理能力 细粒度奖励 自我探索 机器学习 教育应用 智能问答

📋 核心要点

  1. 现有方法依赖于人类撰写的推理过程，获取成本高且难以扩展，限制了LLMs的推理能力提升。
  2. 论文提出Self-Explore方法，利用LLMs自我探索推理中的错误步骤，并将其作为细粒度奖励进行改进。
  3. 在GSM8K和MATH测试集上，Self-Explore方法在三种LLM上分别实现了11.57%和2.89%的性能提升，效果显著。

📝 摘要（中文）

在大型语言模型（LLMs）的训练中，使用大量人类撰写的推理过程（即CoT微调）能够有效提升其推理能力。然而，获取这些推理过程的成本高且不可扩展。本文研究了LLMs是否能够自我提升推理能力，提出了Self-Explore方法，任务是探索推理中的第一个错误步骤，并将其作为细粒度奖励进行进一步改进。在GSM8K和MATH测试集上，Self-Explore在三种LLM上分别实现了11.57%和2.89%的平均提升，相较于监督微调（SFT）。

🔬 方法详解

问题定义：本文旨在解决大型语言模型推理能力提升的可扩展性问题。现有方法依赖于人类撰写的推理过程，获取这些推理过程的成本高且不可扩展，限制了模型的自我改进能力。

核心思路：论文提出Self-Explore方法，核心思想是让LLMs自我探索推理过程中的第一个错误步骤，并将这些错误作为细粒度奖励，促使模型在后续学习中进行改进。

技术框架：Self-Explore的整体架构包括三个主要模块：首先，模型生成推理过程；其次，识别推理中的第一个错误步骤；最后，利用这些错误作为奖励信号进行模型的进一步训练。

关键创新：该方法的创新点在于引入了自我探索机制，使得LLMs能够在没有外部人类标注的情况下，通过自身的推理过程进行改进，显著区别于传统的监督微调方法。

关键设计：在实现过程中，设计了特定的奖励机制，确保模型能够有效识别错误步骤，并通过调整损失函数来优化学习过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，Self-Explore方法在GSM8K和MATH测试集上分别实现了11.57%和2.89%的性能提升，显著优于传统的监督微调（SFT）方法。这一结果表明，自我探索机制在提升LLMs推理能力方面具有显著效果。

🎯 应用场景

该研究的潜在应用领域包括教育、智能问答系统和自动化推理工具等。通过提升LLMs的推理能力，可以在更广泛的场景中应用这些模型，提供更高质量的推理和决策支持，未来可能对人机交互和智能系统的智能化发展产生深远影响。

📄 摘要（原文）

Training on large amounts of rationales (i.e., CoT Fine-tuning) is effective at improving the reasoning capabilities of large language models (LLMs). However, acquiring human-authored rationales or augmenting rationales from proprietary models is costly and not scalable. In this paper, we study the problem of whether LLMs could self-improve their reasoning capabilities. To this end, we propose Self-Explore, where the LLM is tasked to explore the first wrong step (i.e., the first pit) within the rationale and use such signals as fine-grained rewards for further improvement. On the GSM8K and MATH test set, Self-Explore achieves 11.57% and 2.89% improvement on average across three LLMs compared to supervised fine-tuning (SFT). Our code is available at https://github.com/hbin0701/Self-Explore.