InfoRM: Mitigating Reward Hacking in RLHF via Information-Theoretic Reward Modeling

📄 arXiv: 2402.09345v5 📥 PDF

作者: Yuchun Miao, Sen Zhang, Liang Ding, Rong Bao, Lefei Zhang, Dacheng Tao

分类: cs.LG, cs.AI

发布日期: 2024-02-14 (更新: 2024-11-01)

备注: The paper has been accepted by NeurIPS 2024

💡 一句话要点

提出InfoRM以解决强化学习中的奖励黑客问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 奖励建模 信息论 强化学习 人类反馈 奖励黑客 变分推断 鲁棒性

📋 核心要点

  1. 现有的RLHF方法面临奖励黑客问题，主要由于奖励模型的误泛化，导致使用无关特征进行奖励计算。
  2. 本文提出InfoRM框架，通过变分信息瓶颈目标过滤无关信息，并引入聚类分离指数（CSI）来量化潜在空间偏差。
  3. 实验结果表明，InfoRM在不同规模的奖励模型上均表现出色，且其过度优化检测机制在多种数据集上具有鲁棒性。

📝 摘要（中文）

尽管人类反馈强化学习（RLHF）在使语言模型与人类价值观对齐方面取得了成功，但奖励黑客（奖励过度优化）仍然是一个关键挑战。该问题主要源于奖励模型（RM）使用与人类偏好无关的虚假特征进行奖励计算。本文从信息论的角度出发，提出了一个奖励建模框架InfoRM，通过引入变分信息瓶颈目标来过滤无关信息。我们进一步识别出InfoRM的IB潜在空间中的异常值与过度优化之间的相关性，建立了一个有前景的工具来检测奖励过度优化。我们提出的聚类分离指数（CSI）量化了IB潜在空间中的偏差，作为奖励过度优化的指标，以促进在线缓解策略的发展。大量实验表明InfoRM的有效性，且其检测机制在广泛的数据集上表现出色，标志着RLHF领域的重要进展。

🔬 方法详解

问题定义：本文旨在解决RLHF中的奖励黑客问题，现有方法常因奖励模型的误泛化而导致使用与人类偏好无关的特征进行奖励计算，进而影响模型的性能和可靠性。

核心思路：论文提出的InfoRM框架通过引入变分信息瓶颈目标，旨在过滤掉无关信息，从而提高奖励模型的准确性和鲁棒性。同时，识别潜在空间中的异常值与过度优化之间的关系，为检测奖励黑客提供了新的思路。

技术框架：InfoRM的整体架构包括信息瓶颈模块和聚类分离指数（CSI）计算模块。信息瓶颈模块负责提取与人类偏好相关的信息，而CSI模块则用于量化潜在空间中的偏差，帮助识别奖励过度优化的情况。

关键创新：最重要的技术创新在于引入变分信息瓶颈目标和聚类分离指数（CSI），这两者的结合使得InfoRM能够有效过滤无关信息并检测奖励黑客，与传统方法相比，提供了更为精确的奖励建模能力。

关键设计：在设计中，InfoRM采用了变分推断技术，损失函数中结合了信息瓶颈目标和CSI指标，确保模型在训练过程中能够有效地学习到与人类偏好相关的特征，同时避免过度优化问题。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，InfoRM在多个奖励模型规模（70M、440M、1.4B和7B）上均表现出色，尤其在检测奖励过度优化方面，CSI指标的引入显著提高了检测的准确性和鲁棒性，标志着在RLHF领域的显著进步。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和推荐系统等，能够有效提升模型在实际应用中的可靠性与安全性。通过减少奖励黑客现象，InfoRM有助于构建更符合人类价值观的智能系统，推动人工智能的安全发展。

📄 摘要（原文）

Despite the success of reinforcement learning from human feedback (RLHF) in aligning language models with human values, reward hacking, also termed reward overoptimization, remains a critical challenge. This issue primarily arises from reward misgeneralization, where reward models (RMs) compute reward using spurious features that are irrelevant to human preferences. In this work, we tackle this problem from an information-theoretic perspective and propose a framework for reward modeling, namely InfoRM, by introducing a variational information bottleneck objective to filter out irrelevant information. Notably, we further identify a correlation between overoptimization and outliers in the IB latent space of InfoRM, establishing it as a promising tool for detecting reward overoptimization. Inspired by this finding, we propose the Cluster Separation Index (CSI), which quantifies deviations in the IB latent space, as an indicator of reward overoptimization to facilitate the development of online mitigation strategies. Extensive experiments on a wide range of settings and RM scales (70M, 440M, 1.4B, and 7B) demonstrate the effectiveness of InfoRM. Further analyses reveal that InfoRM's overoptimization detection mechanism is not only effective but also robust across a broad range of datasets, signifying a notable advancement in the field of RLHF. The code will be released upon acceptance.