Iterative Reasoning Preference Optimization

📄 arXiv: 2404.19733v3 📥 PDF

作者: Richard Yuanzhe Pang, Weizhe Yuan, Kyunghyun Cho, He He, Sainbayar Sukhbaatar, Jason Weston

分类: cs.CL, cs.AI

发布日期: 2024-04-30 (更新: 2024-06-26)

💡 一句话要点

提出迭代推理偏好优化方法以提升推理任务性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 推理优化 迭代学习 思维链 模型训练 DPO损失 人工智能 机器学习

📋 核心要点

  1. 现有的迭代偏好优化方法在推理任务上改进有限，未能有效提升模型性能。
  2. 本文提出了一种迭代优化方法，专注于优化生成的思维链候选者之间的偏好，强调胜负推理步骤。
  3. 通过在训练集中仅依赖示例，本文方法在多个基准数据集上显著提高了模型的准确性，尤其是在GSM8K上提升幅度达到26%。

📝 摘要（中文）

迭代偏好优化方法在一般指令调优任务中表现良好，但在推理任务上改进有限。本文提出了一种迭代方法，通过优化竞争生成的思维链（CoT）候选者之间的偏好，专注于导致正确答案的胜负推理步骤。我们使用修改后的DPO损失函数，并增加了负对数似然项，发现这一点至关重要。实验表明，该方法在GSM8K、MATH和ARC-Challenge数据集上显著提高了Llama-2-70B-Chat模型的推理准确性，超越了其他不依赖额外数据集的Llama-2模型。

🔬 方法详解

问题定义：本文旨在解决现有迭代偏好优化方法在推理任务中表现不佳的问题。现有方法在推理任务上改进有限，未能有效提升模型性能。

核心思路：论文提出了一种迭代优化方法，专注于优化生成的思维链候选者之间的偏好，特别是通过分析导致正确答案的胜负推理步骤来进行优化。

技术框架：整体架构包括数据预处理、候选者生成、偏好优化和模型训练四个主要模块。首先生成多个思维链候选者，然后通过迭代优化其间的偏好，最后使用修改后的DPO损失进行训练。

关键创新：最重要的技术创新在于引入了负对数似然项到DPO损失中，这一设计显著提升了模型在推理任务上的表现，与现有方法相比，提供了更为有效的优化策略。

关键设计：在损失函数设计上，采用了修改后的DPO损失，并结合负对数似然项。模型训练过程中，重点关注胜负推理步骤的优化，确保模型能够更好地学习到正确的推理路径。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，本文方法在GSM8K数据集上的准确率从55.6%提升至81.6%，在MATH和ARC-Challenge上也取得了显著提升。通过对32个样本进行多数投票，最终准确率达到了88.7%，展现了该方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括教育、自动问答系统和智能助手等，能够有效提升这些系统在复杂推理任务中的表现。随着技术的进步，未来可能在更多领域实现智能化应用，推动人机交互的进一步发展。

📄 摘要（原文）

Iterative preference optimization methods have recently been shown to perform well for general instruction tuning tasks, but typically make little improvement on reasoning tasks (Yuan et al., 2024, Chen et al., 2024). In this work we develop an iterative approach that optimizes the preference between competing generated Chain-of-Thought (CoT) candidates by optimizing for winning vs. losing reasoning steps that lead to the correct answer. We train using a modified DPO loss (Rafailov et al., 2023) with an additional negative log-likelihood term, which we find to be crucial. We show reasoning improves across repeated iterations of this scheme. While only relying on examples in the training set, our approach results in increasing accuracy on GSM8K, MATH, and ARC-Challenge for Llama-2-70B-Chat, outperforming other Llama-2-based models not relying on additionally sourced datasets. For example, we see a large improvement from 55.6% to 81.6% on GSM8K and an accuracy of 88.7% with majority voting out of 32 samples.