Rewards-in-Context: Multi-objective Alignment of Foundation Models with Dynamic Preference Adjustment

📄 arXiv: 2402.10207v6 📥 PDF

作者: Rui Yang, Xiaoman Pan, Feng Luo, Shuang Qiu, Han Zhong, Dong Yu, Jianshu Chen

分类: cs.LG, cs.AI, cs.CL

发布日期: 2024-02-15 (更新: 2024-10-16)

备注: Accepted by ICML 2024

💡 一句话要点

提出Rewards-in-Context以解决多目标对齐问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多目标对齐 基础模型 动态调整 强化学习 监督微调 用户偏好 人工智能

📋 核心要点

  1. 现有方法在使用强化学习对大型基础模型进行微调时，成本高且不稳定，且人类偏好的多维性和冲突性增加了对齐的复杂性。
  2. 本文提出的RiC方法通过在提示上下文中条件化多个奖励，利用监督微调实现基础模型的对齐，并支持动态用户偏好调整。
  3. 实验结果显示，RiC在对齐大型语言模型和扩散模型方面表现出色，仅需约10%的GPU时间，相较于传统多目标强化学习方法显著提升效率。

📝 摘要（中文）

本文考虑了基础模型与人类偏好的多目标对齐问题，这是实现有用且无害的人工智能系统的重要步骤。然而，使用强化学习对大型基础模型进行微调通常成本高且不稳定，人类偏好的多维性、异质性和冲突性进一步复杂化了对齐过程。我们提出了Rewards-in-Context（RiC），该方法在提示上下文中根据多个奖励条件化基础模型的响应，并应用监督微调进行对齐。RiC的显著特点是简单性和适应性，仅需对单一基础模型进行监督微调，并支持在推理时动态调整用户偏好。我们的动态推理时调整方法受抽象凸优化问题的解析解启发，接近多个目标的帕累托最优解。实证证据表明，我们的方法在对齐大型语言模型和扩散模型以适应多样化奖励方面的有效性，仅需约10%的GPU小时，相较于多目标强化学习基线。

🔬 方法详解

问题定义：本文旨在解决基础模型与人类偏好的多目标对齐问题。现有方法在微调过程中面临高成本和不稳定性，且人类偏好的多维性和冲突性使得对齐过程更加复杂。

核心思路：我们提出的RiC方法通过在模型提示中引入多个奖励信号，利用监督微调来实现对齐。这种设计使得模型能够在推理时动态调整以适应用户的偏好。

技术框架：RiC的整体架构包括多个模块：首先是奖励信号的收集与处理，其次是基于这些信号的模型微调，最后是动态推理阶段，模型根据实时反馈调整输出。

关键创新：RiC的主要创新在于其动态调整机制，能够在推理时实时响应用户偏好的变化，显著提高了对齐的灵活性和效率。这与传统的静态微调方法形成鲜明对比。

关键设计：在RiC中，我们采用了特定的损失函数来平衡多个目标，同时设计了适应性强的网络结构，以支持动态调整。具体的参数设置和训练策略也经过精心设计，以确保模型在不同任务中的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RiC在对齐大型语言模型和扩散模型方面的有效性显著，仅需约10%的GPU小时，相较于多目标强化学习基线，展示了显著的性能提升，证明了其在资源利用上的高效性。

🎯 应用场景

该研究的潜在应用领域包括智能助手、个性化推荐系统和人机交互等。通过实现更精确的多目标对齐，RiC能够提升用户体验，使得AI系统更好地满足用户需求，具有广泛的实际价值和未来影响。

📄 摘要（原文）

We consider the problem of multi-objective alignment of foundation models with human preferences, which is a critical step towards helpful and harmless AI systems. However, it is generally costly and unstable to fine-tune large foundation models using reinforcement learning (RL), and the multi-dimensionality, heterogeneity, and conflicting nature of human preferences further complicate the alignment process. In this paper, we introduce Rewards-in-Context (RiC), which conditions the response of a foundation model on multiple rewards in its prompt context and applies supervised fine-tuning for alignment. The salient features of RiC are simplicity and adaptivity, as it only requires supervised fine-tuning of a single foundation model and supports dynamic adjustment for user preferences during inference time. Inspired by the analytical solution of an abstracted convex optimization problem, our dynamic inference-time adjustment method approaches the Pareto-optimal solution for multiple objectives. Empirical evidence demonstrates the efficacy of our method in aligning both Large Language Models (LLMs) and diffusion models to accommodate diverse rewards with only around 10% GPU hours compared with multi-objective RL baseline.