Overcoming Reward Overoptimization via Adversarial Policy Optimization with Lightweight Uncertainty Estimation

📄 arXiv: 2403.05171v2 📥 PDF

作者: Xiaoying Zhang, Jean-Francois Ton, Wei Shen, Hongning Wang, Yang Liu

分类: cs.LG, cs.AI

发布日期: 2024-03-08 (更新: 2024-07-09)

💡 一句话要点

提出对抗性策略优化以解决奖励过度优化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对抗性策略优化 奖励过度优化 不确定性量化 强化学习 人类反馈 大型语言模型 鲁棒优化

📋 核心要点

  1. 现有的基于人类反馈的强化学习方法在奖励模型不准确时容易导致过度优化，影响模型性能。
  2. 论文提出的AdvPO方法通过轻量化的不确定性量化，解决了奖励模型的不准确性问题，从而改善策略优化。
  3. 实验结果表明，AdvPO在Anthropic HH和TL;DR数据集上显著提高了模型的性能，成功减轻了过度优化现象。

📝 摘要（中文）

我们提出了一种新颖的对抗性策略优化方法（AdvPO），旨在解决大型语言模型（LLMs）中基于人类反馈的强化学习（RLHF）所面临的奖励过度优化问题。奖励过度优化发生在奖励模型作为人类偏好的不完美代理时，RL驱动的策略优化错误地利用了奖励的不准确性。本文首先介绍了一种轻量化的奖励不确定性量化方法，仅依赖于奖励模型的最后一层嵌入，避免了计算开销大的奖励集成。AdvPO随后解决了一个围绕奖励模型预测置信区间的分布鲁棒优化问题。通过在Anthropic HH和TL;DR摘要数据集上的全面实验，我们展示了AdvPO在减轻过度优化问题方面的有效性，从而提高了人类辅助评估的性能。

🔬 方法详解

问题定义：本文主要解决在基于人类反馈的强化学习中，奖励模型作为人类偏好的代理时可能导致的奖励过度优化问题。现有方法在面对奖励不准确时，容易导致策略优化失效，影响模型的实际表现。

核心思路：AdvPO的核心思路是通过轻量化的方式量化奖励的不确定性，利用奖励模型最后一层的嵌入信息，避免了传统方法中计算开销大的奖励集成，从而实现更为高效的策略优化。

技术框架：AdvPO的整体架构包括奖励不确定性量化模块和基于置信区间的分布鲁棒优化模块。首先，通过轻量化方法获取奖励的不确定性，然后在此基础上进行策略改进，确保优化过程的鲁棒性。

关键创新：AdvPO的主要创新在于引入了轻量化的不确定性量化方法，显著降低了计算复杂度，并通过置信区间的优化策略提升了模型的鲁棒性。这一方法与传统的奖励集成方法本质上不同，后者通常需要更多的计算资源。

关键设计：在设计上，AdvPO使用了奖励模型最后一层的嵌入作为不确定性量化的基础，采用了适应性损失函数来平衡奖励的准确性与不确定性。此外，模型的训练过程中引入了对抗性样本，以增强策略的鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，AdvPO在Anthropic HH和TL;DR数据集上相较于基线方法，性能提升显著，具体表现为在人类辅助评估中提高了模型的整体评分，验证了其在减轻奖励过度优化问题上的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和文本摘要等任务，尤其是在需要人类反馈的场景中。通过改善奖励模型的鲁棒性，AdvPO可以提升大型语言模型在实际应用中的表现，降低因奖励不准确导致的性能波动，具有重要的实际价值和未来影响。

📄 摘要（原文）

We introduce Adversarial Policy Optimization (AdvPO), a novel solution to the pervasive issue of reward over-optimization in Reinforcement Learning from Human Feedback (RLHF) for Large Language Models (LLMs). Over-optimization occurs when a reward model serves as an imperfect proxy for human preference, and RL-driven policy optimization erroneously exploits reward inaccuracies. In this paper, we begin by introducing a lightweight way to quantify uncertainties in rewards, relying solely on the last layer embeddings of the reward model, without the need for computationally expensive reward ensembles. AdvPO then addresses a distributionally robust optimization problem centred around the confidence interval of the reward model's predictions for policy improvement. Through comprehensive experiments on the Anthropic HH and TL;DR summarization datasets, we illustrate the efficacy of AdvPO in mitigating the overoptimization issue, consequently resulting in enhanced performance as evaluated through human-assisted evaluation.