Teaching Large Language Models to Reason with Reinforcement Learning

📄 arXiv: 2403.04642v1 📥 PDF

作者: Alex Havrilla, Yuqing Du, Sharath Chandra Raparthy, Christoforos Nalmpantis, Jane Dwivedi-Yu, Maksym Zhuravinskyi, Eric Hambro, Sainbayar Sukhbaatar, Roberta Raileanu

分类: cs.LG

发布日期: 2024-03-07

💡 一句话要点

通过强化学习提升大型语言模型的推理能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 人类反馈 大型语言模型 推理能力 专家迭代 近端策略优化 模型微调

📋 核心要点

  1. 现有的强化学习方法在大型语言模型的推理能力提升上存在探索不足的问题，导致模型未能充分利用潜在的解决方案。
  2. 本文提出通过多种反馈学习算法（如专家迭代和PPO）来优化LLM的推理能力，探索稀疏和密集奖励的有效性。
  3. 实验结果表明，专家迭代在大多数情况下表现最佳，且样本复杂度与PPO相似，显示出强化学习在LLM微调中的潜力。

📝 摘要（中文）

人类反馈的强化学习（RLHF）已成为对齐大型语言模型（LLM）输出与人类偏好的主流方法。本文研究了多种从反馈中学习的算法（如专家迭代、近端策略优化和回报条件强化学习）在提升LLM推理能力方面的表现。我们探讨了稀疏和密集奖励的影响，并从多个模型大小和初始化出发进行实验。结果显示，所有算法表现相似，专家迭代在大多数情况下表现最佳。我们发现专家迭代的样本复杂度与近端策略优化相似，收敛所需样本量约为$10^6$。此外，我们讨论了在监督微调训练中maj@1和pass@96指标性能之间的权衡，以及强化学习训练如何同时改善这两个指标。最后，我们探讨了这些发现对RLHF的影响及未来RL在LLM微调中的角色。

🔬 方法详解

问题定义：本文旨在解决现有强化学习方法在大型语言模型推理能力提升中的探索不足问题，现有方法未能充分利用监督微调模型产生的解决方案。

核心思路：通过比较多种反馈学习算法（如专家迭代、PPO和回报条件强化学习），探索如何利用稀疏和密集奖励来提升LLM的推理能力。

技术框架：整体架构包括多个阶段：首先从不同模型大小和初始化出发，进行监督微调；然后应用不同的强化学习算法进行训练，最后评估模型在推理任务上的表现。

关键创新：最重要的创新在于发现专家迭代在样本复杂度上与PPO相似，且在大多数情况下表现最佳，这一发现挑战了传统对强化学习样本效率的理解。

关键设计：在实验中，设置了不同的奖励机制（稀疏与密集），并对比了不同算法在相同数据集上的表现，确保了实验的公平性和可重复性。具体的损失函数和网络结构设计也经过精心调整，以适应不同的学习任务。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，专家迭代在大多数情况下表现最佳，且样本复杂度与PPO相似，收敛所需样本量约为$10^6$。此外，强化学习训练能够同时改善maj@1和pass@96指标，展示了其在模型微调中的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和智能助手等，能够显著提升模型在复杂推理任务中的表现。未来，强化学习在大型语言模型微调中的应用将可能改变模型训练的方式，提高其对人类反馈的适应性和准确性。

📄 摘要（原文）

Reinforcement Learning from Human Feedback (\textbf{RLHF}) has emerged as a dominant approach for aligning LLM outputs with human preferences. Inspired by the success of RLHF, we study the performance of multiple algorithms that learn from feedback (Expert Iteration, Proximal Policy Optimization (\textbf{PPO}), Return-Conditioned RL) on improving LLM reasoning capabilities. We investigate both sparse and dense rewards provided to the LLM both heuristically and via a learned reward model. We additionally start from multiple model sizes and initializations both with and without supervised fine-tuning (\textbf{SFT}) data. Overall, we find all algorithms perform comparably, with Expert Iteration performing best in most cases. Surprisingly, we find the sample complexity of Expert Iteration is similar to that of PPO, requiring at most on the order of $10^6$ samples to converge from a pretrained checkpoint. We investigate why this is the case, concluding that during RL training models fail to explore significantly beyond solutions already produced by SFT models. Additionally, we discuss a trade off between maj@1 and pass@96 metric performance during SFT training and how conversely RL training improves both simultaneously. We then conclude by discussing the implications of our findings for RLHF and the future role of RL in LLM fine-tuning.