Fine-Tuning Language Models with Reward Learning on Policy

📄 arXiv: 2403.19279v1 📥 PDF

作者: Hao Lang, Fei Huang, Yongbin Li

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-03-28

备注: NAACL2024 Main Track Long Paper

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于策略的奖励学习以优化语言模型

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 人类反馈 语言模型 奖励学习 无监督学习 策略优化 多视角学习

📋 核心要点

  1. 现有的基于人类反馈的强化学习方法在策略优化过程中，固定的奖励模型可能导致离散数据上的不准确性。
  2. 本文提出了一种无监督的奖励学习框架，通过策略样本来改进奖励模型，确保其在数据分布内。
  3. 实验结果显示，RLP在三个基准数据集上均表现优于现有的最先进方法，验证了其有效性。

📝 摘要（中文）

基于人类反馈的强化学习（RLHF）已成为对齐大型语言模型（LLMs）与人类偏好的有效方法。RLHF通常包括人类偏好收集、奖励学习和策略优化三个步骤。然而，固定的奖励模型可能在离散数据上表现不佳，因为策略优化会不断改变LLMs的数据分布。本文提出了一种基于策略的奖励学习（RLP）框架，通过使用策略样本来改进奖励模型，以保持其在数据分布内。我们引入了一种无监督的多视角学习方法，以学习策略样本的稳健表示，同时开发了一种合成偏好生成方法，以模拟高质量的偏好数据。大量实验表明，RLP在三个基准数据集上均优于现有最先进的方法。

🔬 方法详解

问题定义：本文旨在解决固定奖励模型在策略优化过程中因数据分布变化而导致的离散数据不准确性问题。现有方法在不断优化策略时，往往需要重复收集偏好数据，增加了系统复杂性和优化难度。

核心思路：论文提出的基于策略的奖励学习（RLP）框架，通过使用策略样本来改进奖励模型，保持其在数据分布内，从而避免了重复收集偏好数据的复杂性。

技术框架：RLP框架主要包括两个模块：无监督的多视角学习方法用于学习策略样本的稳健表示，合成偏好生成方法用于模拟高质量的偏好数据。整体流程是先通过策略样本进行奖励模型的改进，然后生成合成偏好数据进行训练。

关键创新：RLP的核心创新在于通过策略样本进行奖励模型的无监督学习，确保奖励模型始终与当前策略保持一致。这一方法与传统的RLHF方法相比，减少了对新偏好数据的依赖，简化了优化过程。

关键设计：在设计中，采用了多视角学习方法来增强策略样本的表示能力，同时合成偏好生成方法通过模拟策略输出，确保生成的偏好数据具有高质量和多样性。

📊 实验亮点

在三个基准数据集上的实验结果表明，RLP方法在性能上显著优于现有最先进的方法，具体提升幅度达到X%（具体数据需根据实验结果填写），验证了其有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和智能助手等。通过优化语言模型与人类偏好的对齐，RLP能够提升人机交互的质量和效率，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Reinforcement learning from human feedback (RLHF) has emerged as an effective approach to aligning large language models (LLMs) to human preferences. RLHF contains three steps, i.e., human preference collecting, reward learning, and policy optimization, which are usually performed serially. Despite its popularity, however, (fixed) reward models may suffer from inaccurate off-distribution, since policy optimization continuously shifts LLMs' data distribution. Repeatedly collecting new preference data from the latest LLMs may alleviate this issue, which unfortunately makes the resulting system more complicated and difficult to optimize. In this paper, we propose reward learning on policy (RLP), an unsupervised framework that refines a reward model using policy samples to keep it on-distribution. Specifically, an unsupervised multi-view learning method is introduced to learn robust representations of policy samples. Meanwhile, a synthetic preference generation approach is developed to simulate high-quality preference data with policy outputs. Extensive experiments on three benchmark datasets show that RLP consistently outperforms the state-of-the-art. Our code is available at \url{https://github.com/AlibabaResearch/DAMO-ConvAI/tree/main/rlp}.