Learning Planning-based Reasoning by Trajectories Collection and Process Reward Synthesizing

📄 arXiv: 2402.00658v3 📥 PDF

作者: Fangkai Jiao, Chengwei Qin, Zhengyuan Liu, Nancy F. Chen, Shafiq Joty

分类: cs.AI, cs.CL

发布日期: 2024-02-01 (更新: 2024-10-15)

备注: 17 pages, 9 figures. EMNLP 2024

💡 一句话要点

提出基于轨迹收集与过程奖励合成的规划推理学习框架

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 推理学习 直接偏好优化 轨迹收集 过程奖励合成 逻辑推理 人工智能

📋 核心要点

  1. 现有大型语言模型在推理过程中存在幻觉和缺陷，导致生成的推理结果不够可靠。
  2. 本文提出通过直接偏好优化（DPO）在收集的轨迹上学习规划推理，旨在降低推理过程中的延迟和人力成本。
  3. 实验结果显示，所提出的7B模型在逻辑推理基准测试中超越了GPT-3.5-Turbo，验证了框架的有效性。

📝 摘要（中文）

大型语言模型（LLMs）在处理复杂推理任务时展现出显著潜力，然而其推理过程中的幻觉和缺陷引发了关注。现有方法在推理建模和过程监督上存在高延迟和人力成本问题。为此，本文提出了一种通过直接偏好优化（DPO）学习规划推理的框架，利用收集的轨迹并根据合成的过程奖励进行排名。实验结果表明，该框架在逻辑推理基准测试中表现优异，7B模型超越了GPT-3.5-Turbo等强大对手。

🔬 方法详解

问题定义：本文旨在解决大型语言模型推理过程中的高延迟和人力成本问题。现有方法在推理建模和过程监督上存在不足，导致生成的推理结果不够可靠。

核心思路：论文提出通过直接偏好优化（DPO）学习规划推理，利用收集的轨迹并根据合成的过程奖励进行排名，从而提高推理的效率和可靠性。

技术框架：整体架构包括轨迹收集、过程奖励合成和直接偏好优化三个主要模块。首先收集推理过程中的轨迹，然后合成过程奖励，最后通过DPO进行优化。

关键创新：最重要的技术创新在于将推理过程视为规划，并通过合成的过程奖励来优化推理轨迹。这一方法显著降低了推理过程中的延迟。

关键设计：在设计中，采用了特定的损失函数来优化轨迹的排名，并对模型的参数进行了精细调整，以确保在逻辑推理任务中的最佳表现。具体的网络结构和参数设置在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的7B模型在逻辑推理基准测试中表现优异，超越了GPT-3.5-Turbo，展示了显著的性能提升，验证了框架的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、自动推理工具和复杂决策支持系统。通过提高推理的效率和可靠性，该框架能够在多个领域中提供更为精准的智能服务，推动人工智能技术的进一步发展。

📄 摘要（原文）

Large Language Models (LLMs) have demonstrated significant potential in handling complex reasoning tasks through step-by-step rationale generation. However, recent studies have raised concerns regarding the hallucination and flaws in their reasoning process. Substantial efforts are being made to improve the reliability and faithfulness of the generated rationales. Some approaches model reasoning as planning, while others focus on annotating for process supervision. Nevertheless, the planning-based search process often results in high latency due to the frequent assessment of intermediate reasoning states and the extensive exploration space. Additionally, supervising the reasoning process with human annotation is costly and challenging to scale for LLM training. To address these issues, in this paper, we propose a framework to learn planning-based reasoning through Direct Preference Optimization (DPO) on collected trajectories, which are ranked according to synthesized process rewards. Our results on challenging logical reasoning benchmarks demonstrate the effectiveness of our learning framework, showing that our 7B model can surpass the strong counterparts like GPT-3.5-Turbo.