MaxMin-RLHF: Alignment with Diverse Human Preferences

📄 arXiv: 2402.08925v2 📥 PDF

作者: Souradip Chakraborty, Jiahao Qiu, Hui Yuan, Alec Koppel, Furong Huang, Dinesh Manocha, Amrit Singh Bedi, Mengdi Wang

分类: cs.CL, cs.AI, cs.LG, cs.RO

发布日期: 2024-02-14 (更新: 2024-12-26)

💡 一句话要点

提出MaxMin-RLHF以解决人类偏好多样性对齐问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 人类反馈 强化学习 多样性对齐 偏好建模 公平性 鲁棒性 社会选择理论

📋 核心要点

  1. 现有的RLHF方法依赖单一奖励模型，无法充分代表多样化的人类偏好，导致对齐效果不佳。
  2. 本文提出通过期望最大化算法学习偏好分布的混合，并设计MaxMin对齐目标，以更好地对齐多样化偏好。
  3. 实验结果显示，该方法在多个模型上提升了胜率，尤其在少数群体的表现上取得显著改善，展示了其公平性和鲁棒性。

📝 摘要（中文）

强化学习中的人类反馈（RLHF）通过单一奖励模型来对齐语言模型与人类偏好，但这种方法忽视了来自多个用户的偏好的丰富多样性。本文首先推导出单一奖励RLHF在对齐多样化人类偏好方面的不可行性，提出通过期望最大化算法学习偏好分布的混合，并基于社会选择理论中的平等原则提出MaxMin对齐目标，以更好地表示多样化的人类偏好。实验结果表明，该方法在小规模（GPT-2）和大规模（Tulu2-7B）语言模型上均表现出色，平均提升超过16%的胜率，并在不损害多数群体表现的情况下，提升少数群体的胜率（准确率）超过33%。

🔬 方法详解

问题定义：本文旨在解决现有RLHF方法在对齐多样化人类偏好时的不足，特别是单一奖励模型无法有效捕捉多样性的问题。

核心思路：论文提出通过期望最大化算法学习多个偏好分布的混合，并引入MaxMin对齐目标，旨在更全面地反映人类的多样化偏好。

技术框架：整体架构包括数据收集、偏好分布学习、MaxMin对齐目标的实现以及策略学习四个主要模块，确保模型能够适应不同用户的偏好。

关键创新：最重要的创新在于提出了基于平等原则的MaxMin对齐目标，与传统的单一奖励模型相比，能够更好地处理人类偏好的多样性。

关键设计：在算法设计中，采用期望最大化算法来学习偏好分布的混合，损失函数设计上注重对少数群体的表现提升，同时确保多数群体的性能不受影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，MaxMin-RLHF在小规模和大规模语言模型上均实现了超过16%的胜率提升，尤其在少数群体的胜率提升超过33%，而多数群体的性能保持稳定，展示了该方法的有效性和公平性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、推荐系统和人机交互等，能够帮助构建更符合用户多样化需求的智能系统。未来，该方法可能在强化学习的其他领域中推广应用，提升模型的公平性和鲁棒性。

📄 摘要（原文）

Reinforcement Learning from Human Feedback (RLHF) aligns language models to human preferences by employing a singular reward model derived from preference data. However, such an approach overlooks the rich diversity of human preferences inherent in data collected from multiple users. In this work, we first derive an impossibility result of alignment with single reward RLHF, thereby highlighting its insufficiency in representing diverse human preferences. To provide an equitable solution to the problem, we learn a mixture of preference distributions via an expectation-maximization algorithm and propose a MaxMin alignment objective for policy learning inspired by the Egalitarian principle in social choice theory to better represent diverse human preferences. We elucidate the connection of our proposed approach to distributionally robust optimization and general utility RL, thereby highlighting the generality and robustness of our proposed solution. We present comprehensive experimental results on small-scale (GPT-2) and large-scale language models (with Tulu2-7B) and show the efficacy of the proposed approach in the presence of diversity among human preferences. Our algorithm achieves an average improvement of more than 16% in win-rates over conventional RLHF algorithms and improves the win-rate (accuracy) for minority groups by over 33% without compromising the performance of majority groups, showcasing the robustness and fairness of our approach. We remark that our findings in this work are not only limited to language models but also extend to reinforcement learning in general.