Reflect-RL: Two-Player Online RL Fine-Tuning for LMs

📄 arXiv: 2402.12621v2 📥 PDF

作者: Runlong Zhou, Simon S. Du, Beibin Li

分类: cs.LG, cs.CL

发布日期: 2024-02-20 (更新: 2024-06-06)

备注: ACL 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出Reflect-RL以解决语言模型在线强化学习微调问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 语言模型 在线强化学习 微调 反射模型 多轮交互 负例生成 课程学习

📋 核心要点

  1. 现有方法在复杂动态的多轮交互任务中表现不佳，尤其是依赖有限的离线数据集进行监督微调。
  2. Reflect-RL通过引入一个冻结的反射模型来辅助策略模型，结合SFT和在线RL进行微调，提升了模型的学习效率。
  3. 实验结果表明，使用Reflect-RL微调的GPT-2 XL 1.56B在性能上超越了更大的开源语言模型，如Mistral 7B。

📝 摘要（中文）

随着语言模型（LM）在各个领域的能力展现，其在需要多轮交互的任务中的应用越来越受到关注。这些任务通常具有复杂的动态特性，因此在有限的离线数据集上进行监督微调（SFT）并不能取得良好的性能。然而，只有少数研究尝试在交互决策环境中直接训练语言模型。我们旨在创建一种有效的方法，通过在线强化学习（RL）在这些环境中微调语言模型。我们提出了Reflect-RL，一个两玩家系统，通过SFT和在线RL微调语言模型，其中一个冻结的反射模型（玩家）辅助策略模型（玩家）。为了生成热身SFT阶段的数据，我们使用负例生成来增强反射模型的纠错能力。此外，我们设计了单提示动作枚举，并应用了课程学习，使策略模型能够更高效地学习。实验证明，Reflect-RL的性能优于仅使用SFT和不带反射的在线RL。

🔬 方法详解

问题定义：本论文旨在解决在复杂动态的多轮交互任务中，现有语言模型微调方法（如SFT）在性能上的不足，尤其是在有限的离线数据集下表现不佳的问题。

核心思路：论文提出Reflect-RL，通过引入一个冻结的反射模型来辅助策略模型的学习，结合SFT和在线RL进行微调，以提高模型的学习效率和性能。

技术框架：Reflect-RL的整体架构包括两个主要模块：反射模型和策略模型。反射模型负责生成负例以增强纠错能力，而策略模型则通过在线RL进行学习。整个流程分为热身SFT阶段和在线RL阶段。

关键创新：Reflect-RL的核心创新在于引入了反射模型的概念，使得模型在学习过程中能够更好地纠正错误，显著提升了学习效率。这与传统的单一模型训练方法有本质区别。

关键设计：在关键设计上，论文采用了单提示动作枚举和课程学习策略，以优化策略模型的学习过程。此外，反射模型的负例生成机制也是一个重要的技术细节，增强了模型的错误纠正能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用Reflect-RL微调的GPT-2 XL 1.56B在性能上超越了更大的开源语言模型Mistral 7B，验证了该方法在复杂任务中的有效性和优越性，具有显著的性能提升。

🎯 应用场景

Reflect-RL的研究成果在需要多轮交互的自然语言处理任务中具有广泛的应用潜力，如对话系统、游戏AI和智能客服等领域。通过提升语言模型的学习效率和性能，能够更好地满足实际应用中的复杂需求，推动智能交互技术的发展。

📄 摘要（原文）

As language models (LMs) demonstrate their capabilities in various fields, their application to tasks requiring multi-round interactions has become increasingly popular. These tasks usually have complex dynamics, so supervised fine-tuning (SFT) on a limited offline dataset does not yield good performance. However, only a few works attempted to directly train the LMs within interactive decision-making environments. We aim to create an effective approach to fine-tune LMs with online reinforcement learning (RL) in these environments. We propose Reflect-RL, a two-player system to fine-tune an LM using SFT and online RL, where a frozen reflection model (player) assists the policy model (player). To generate data for the warm-up SFT stage, we use negative example generation to enhance the error-correction ability of the reflection model. Furthermore, we designed single-prompt action enumeration and applied curriculum learning to allow the policy model to learn more efficiently. Empirically, we verify that Reflect-RL outperforms SFT and online RL without reflection. Testing results indicate GPT-2 XL 1.56B fine-tuned with Reflect-RL outperforms larger open-source LMs, such as Mistral 7B. The benchmarks, dataset, and code involved in this work are publicly available: https://github.com/zhourunlong/Reflect-RL.