Beyond Sparse Rewards: Enhancing Reinforcement Learning with Language Model Critique in Text Generation

📄 arXiv: 2401.07382v2 📥 PDF

作者: Meng Cao, Lei Shu, Lei Yu, Yun Zhu, Nevan Wichers, Yinxiao Liu, Lei Meng

分类: cs.CL, cs.AI

发布日期: 2024-01-14 (更新: 2024-02-19)

💡 一句话要点

提出利用语言模型批评增强强化学习以解决稀疏奖励问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 语言模型 文本生成 稀疏奖励 中间步骤奖励 批评模型 自然语言处理

📋 核心要点

  1. 现有的强化学习方法在处理稀疏奖励信号时效率低且不稳定，通常只能为整个输出提供单一奖励。
  2. 本文提出了一种新框架，结合策略模型与批评语言模型，利用LLM的批评能力生成中间步骤奖励。
  3. 实验结果显示，加入人工内在奖励后，策略模型在样本效率和整体性能上均有显著提升。

📝 摘要（中文）

强化学习（RL）能够将语言模型与非可微分的奖励信号（如人类偏好）对齐，但稀疏奖励信号的挑战使得学习效率低且不稳定。本文提出了一种新颖的框架，利用大型语言模型（LLM）的批评能力，在RL训练过程中生成中间步骤奖励。该方法将策略模型与批评语言模型相结合，后者负责对输出的每个部分提供全面反馈，并将反馈转化为可用于指导RL训练的标记或跨度级奖励。我们在情感控制、语言模型去毒化和摘要生成等三项文本生成任务上评估了该方法，实验结果表明，加入人工内在奖励显著提高了策略模型的样本效率和整体性能，得到了自动和人工评估的支持。

🔬 方法详解

问题定义：本文旨在解决强化学习中稀疏奖励信号导致的学习效率低和不稳定性的问题。现有方法通常只能为整个输出提供单一的奖励，难以有效指导学习过程。

核心思路：论文的核心思路是利用大型语言模型的批评能力，在RL训练中生成中间步骤奖励。通过将策略模型与批评语言模型结合，提供对输出每个部分的反馈，从而提高学习的稳定性和效率。

技术框架：整体架构包括两个主要模块：策略模型和批评语言模型。策略模型生成文本输出，而批评语言模型则对输出进行评估并提供反馈，反馈被转化为标记或跨度级的奖励，指导RL训练过程。

关键创新：最重要的技术创新在于引入了中间步骤奖励的概念，通过批评语言模型提供的细粒度反馈，显著改善了稀疏奖励问题。这一方法与传统的单一奖励机制有本质区别。

关键设计：在设计中，关键参数包括策略模型和批评模型的大小配置，损失函数的选择，以及如何有效地将反馈转化为奖励信号。这些设计确保了模型在训练过程中的有效性和稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，采用该方法后，策略模型在样本效率和整体性能上均有显著提升。在情感控制任务中，模型的性能提高了XX%，在语言模型去毒化和摘要生成任务中也表现出明显的改进，验证了中间步骤奖励的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的文本生成任务，如情感分析、内容去毒化和自动摘要生成。通过提高强化学习的效率和稳定性，未来可在更多复杂的语言生成任务中实现更高的性能，推动智能对话系统和内容生成工具的发展。

📄 摘要（原文）

Reinforcement learning (RL) can align language models with non-differentiable reward signals, such as human preferences. However, a major challenge arises from the sparsity of these reward signals - typically, there is only a single reward for an entire output. This sparsity of rewards can lead to inefficient and unstable learning. To address this challenge, our paper introduces an novel framework that utilizes the critique capability of Large Language Models (LLMs) to produce intermediate-step rewards during RL training. Our method involves coupling a policy model with a critic language model, which is responsible for providing comprehensive feedback of each part of the output. This feedback is then translated into token or span-level rewards that can be used to guide the RL training process. We investigate this approach under two different settings: one where the policy model is smaller and is paired with a more powerful critic model, and another where a single language model fulfills both roles. We assess our approach on three text generation tasks: sentiment control, language model detoxification, and summarization. Experimental results show that incorporating artificial intrinsic rewards significantly improve both sample efficiency and the overall performance of the policy model, supported by both automatic and human evaluation.