OVM, Outcome-supervised Value Models for Planning in Mathematical Reasoning

📄 arXiv: 2311.09724v2 📥 PDF

作者: Fei Yu, Anningzhe Gao, Benyou Wang

分类: cs.AI, cs.CL

发布日期: 2023-11-16 (更新: 2024-04-01)

备注: Accepted to NAACL findings. https://github.com/FreedomIntelligence/OVM

💡 一句话要点

提出Outcome-supervised Value Model以解决多步数学推理中的错误传播问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多步推理 价值模型 结果监督 引导解码 数学推理 大型语言模型 错误传播 模型训练

📋 核心要点

  1. 现有大型语言模型在多步推理中容易出现错误传播，导致最终答案不准确。
  2. 本文提出的OVM模型通过结果监督训练价值模型，优先选择能得出正确结论的推理步骤。
  3. 在GSM8K和Game of 24数据集上的实验表明，OVM模型性能优越，特别是OVM-7B在GSM8K中达到了最先进的结果。

📝 摘要（中文）

大型语言模型（LLMs）在多步推理中常常难以保持准确性，尤其是在数学推理中，早期步骤的错误可能会传播到后续步骤，最终导致错误答案。为减少错误传播，本文采用引导解码方法逐步指导模型解码。我们认为，在引导解码中，评估不完整推理路径的潜力比单纯确保每一步的正确性更具优势，因为前者更能指向正确的最终答案。这将任务转化为一个价值估计问题。基于此，我们提出了Outcome-supervised Value Model（OVM），该模型通过结果监督训练价值模型，优先考虑能够得出准确结论的步骤。此外，OVM消除了对步骤级正确性进行劳动密集型标注的需求，从而显著提升了可扩展性。实验结果表明，OVM在多个多步数学推理数据集上表现优异，尤其在GSM8K数据集中，OVM-7B模型在不使用GPT-4或代码执行的情况下，达到了当前LLMs中最高的性能。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在多步数学推理中因早期错误导致的错误传播问题。现有方法往往只关注每一步的正确性，未能有效评估推理路径的潜力。

核心思路：论文提出通过结果监督来训练价值模型，强调评估不完整推理路径的潜力，以引导模型朝向正确的最终答案。这种方法将推理过程视为价值估计问题，从而提高了推理的准确性。

技术框架：OVM模型的整体架构包括输入处理、引导解码和价值估计三个主要模块。输入处理模块负责将数学问题转化为模型可理解的格式，引导解码模块逐步生成推理步骤，而价值估计模块则评估每一步的潜在结果。

关键创新：OVM的核心创新在于引入结果监督作为价值模型的训练机制，这一方法与传统的逐步正确性检查有本质区别，能够更有效地减少错误传播。

关键设计：在模型设计中，OVM采用了特定的损失函数来优化价值估计，并通过强化学习的方式调整模型参数，确保模型在推理过程中能够优先选择更有可能得出正确答案的步骤。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在实验中，OVM-7B模型在GSM8K数据集上达到了最先进的结果，超越了其他参数高达13B的LLMs，尤其是在未使用GPT-4或代码执行的情况下，展示了显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括教育、自动化推理系统和智能问答等。通过提升多步推理的准确性，OVM模型能够在复杂问题求解中提供更可靠的支持，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Large language models (LLMs) often struggle with maintaining accuracy throughout multiple multiple reasoning steps, especially in mathematical reasoning where an error in earlier steps can propagate to subsequent ones and it ultimately leading to an incorrect answer. To reduce error propagation, guided decoding is employed to direct the LM decoding on a step-by-step basis. We argue that in guided decoding, assessing the potential of an incomplete reasoning path can be more advantageous than simply ensuring per-step correctness, as the former approach leads towards a correct final answer. This transforms the task into a $\textit{value estimation}$ problem in planning. Inspired by the findings that $\textit{outcome supervision for guided decoding essentially acts as a value model}$, we propose Outcome-supervised Value Model (OVM) that employs outcome supervision for training a value model, which prioritizes steps that lead to accurate conclusions. Furthermore, the OVM eliminates the need for labor-intensive annotations of step-level correctness, thereby significantly enhancing its scalability. Our experiments on two multi-step mathematical reasoning datasets, GSM8K and Game of 24, demonstrate the superior performance of the OVM model. Notably, in GSM8K, our $\textbf{OVM-7B model achieves state-of-the-art results among LLMs up to 13B parameters}$; especially it does not utilize GPT-4 or code execution. These findings offer a novel perspective on the role of outcome supervision in training value models for multi-step reasoning tasks and provide theoretical justification for its advantage in value estimation for guided decoding.