Arithmetic Control of LLMs for Diverse User Preferences: Directional Preference Alignment with Multi-Objective Rewards

📄 arXiv: 2402.18571v3 📥 PDF

作者: Haoxiang Wang, Yong Lin, Wei Xiong, Rui Yang, Shizhe Diao, Shuang Qiu, Han Zhao, Tong Zhang

分类: cs.LG, cs.AI, cs.CL, stat.ML

发布日期: 2024-02-28 (更新: 2024-03-06)

备注: The code and model are released at https://github.com/Haoxiang-Wang/directional-preference-alignment

💡 一句话要点

提出方向偏好对齐框架以解决大语言模型的用户需求适应性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 用户偏好 多目标奖励 强化学习 方向偏好对齐 内容生成 个性化对话

📋 核心要点

  1. 现有的基于人类反馈的强化学习方法在捕捉多样化用户偏好方面存在局限，难以满足不同用户的需求。
  2. 本文提出的方向偏好对齐框架通过多目标奖励建模，允许用户在生成内容时进行直观的偏好控制。
  3. 实验结果表明，DPA在帮助性与简洁性之间提供了有效的权衡，并在与强基线的比较中表现出竞争力。

📝 摘要（中文）

对大型语言模型（LLMs）的细粒度控制仍然是一个重大挑战，限制了其对多样化用户需求的适应性。尽管基于人类反馈的强化学习（RLHF）在对齐LLMs方面展现出潜力，但其对标量奖励的依赖往往限制了其在实际应用中捕捉多样化用户偏好的能力。为了解决这一局限性，本文提出了方向偏好对齐（DPA）框架。与标量奖励的RLHF不同，DPA结合了多目标奖励建模，以表示多样化的偏好特征。此外，DPA将用户偏好建模为奖励空间中的方向（即单位向量），以实现用户依赖的偏好控制。我们的方法通过训练多目标奖励模型，然后使用偏好条件的拒绝采样微调（RSF）对LLM进行微调，提供了更好的性能权衡。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在适应多样化用户偏好时的控制难题。现有的基于标量奖励的强化学习方法难以全面捕捉用户的复杂需求，限制了模型的灵活性和实用性。

核心思路：提出方向偏好对齐（DPA）框架，通过多目标奖励建模来表示用户的多样化偏好，并将用户偏好视为奖励空间中的方向向量，从而实现更细致的控制。

技术框架：DPA框架包括两个主要阶段：首先训练一个多目标奖励模型，然后使用偏好条件的拒绝采样微调（RSF）对大型语言模型进行微调。该框架的设计使得用户能够通过简单的算术方式指定他们的偏好权衡。

关键创新：DPA的核心创新在于将用户偏好建模为方向向量，突破了传统标量奖励的限制，使得用户能够直观地控制生成内容的特性。这一方法在理论和实践上都提供了新的视角。

关键设计：在模型训练过程中，采用了多目标奖励函数以捕捉不同的用户偏好，并在微调阶段使用了偏好条件的拒绝采样策略，以确保生成内容符合用户的具体需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，DPA在帮助性与简洁性之间的权衡上表现出色，相较于传统的标量奖励RLHF，DPA在多个奖励目标上实现了更好的性能平衡。与Direct Preference Optimization（DPO）等强基线相比，DPA保持了竞争力的性能，同时提供了更直观的用户控制方式。

🎯 应用场景

该研究的潜在应用领域包括个性化对话系统、内容生成平台和智能助手等。通过提供更灵活的用户偏好控制，DPA框架能够显著提升用户体验，满足不同用户的特定需求，未来可能在多个行业中产生深远影响。

📄 摘要（原文）

Fine-grained control over large language models (LLMs) remains a significant challenge, hindering their adaptability to diverse user needs. While Reinforcement Learning from Human Feedback (RLHF) shows promise in aligning LLMs, its reliance on scalar rewards often limits its ability to capture diverse user preferences in real-world applications. To address this limitation, we introduce the Directional Preference Alignment (DPA) framework. Unlike the scalar-reward RLHF, DPA incorporates multi-objective reward modeling to represent diverse preference profiles. Additionally, DPA models user preferences as directions (i.e., unit vectors) in the reward space to achieve user-dependent preference control. Our method involves training a multi-objective reward model and then fine-tuning the LLM with a preference-conditioned variant of Rejection Sampling Finetuning (RSF), an RLHF method adopted by Llama 2. This method enjoys a better performance trade-off across various reward objectives. In comparison with the scalar-reward RLHF, DPA offers users intuitive control over LLM generation: they can arithmetically specify their desired trade-offs (e.g., more helpfulness with less verbosity). We also validate the effectiveness of DPA with real-world alignment experiments on Mistral-7B. Our method provides straightforward arithmetic control over the trade-off between helpfulness and verbosity while maintaining competitive performance with strong baselines such as Direct Preference Optimization (DPO).