Comparing Bad Apples to Good Oranges: Aligning Large Language Models via Joint Preference Optimization
作者: Hritik Bansal, Ashima Suvarna, Gantavya Bhatt, Nanyun Peng, Kai-Wei Chang, Aditya Grover
分类: cs.CL, cs.AI, cs.LG
发布日期: 2024-03-31 (更新: 2025-01-07)
备注: 22 pages, 16 figures, 7 tables
🔗 代码/项目: GITHUB
💡 一句话要点
提出联合偏好优化方法以提升大语言模型的对齐效果
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 偏好优化 自然语言处理 模型对齐 人机交互
📋 核心要点
- 现有的偏好获取方法主要依赖成对比较，无法全面反映人类偏好的复杂性和多样性。
- 本文提出联合偏好优化（JPO），通过共同评估指令-响应对的偏好，增强了偏好获取的广度和深度。
- 实验结果显示，使用JPO训练的模型在多个任务上显著优于传统的条件排名方法，提升了模型的对齐效果。
📝 摘要（中文）
对齐大语言模型（LLMs）的一种常见技术依赖于通过比较多个生成结果来获取人类偏好。然而，现有方法仅依赖于在相同上下文中的成对比较，未能充分捕捉人类偏好的多维特性。本文提出了一种新的联合偏好优化（JPO）方法，通过共同评估指令-响应对的偏好，显著提升了模型的对齐效果。实验结果表明，使用JPO训练的LLMs在摘要和开放式对话数据集上分别比传统方法提高了5.2%和3.3%的胜率。
🔬 方法详解
问题定义：本文旨在解决现有大语言模型对齐方法在偏好获取上存在的局限性，特别是成对比较无法充分反映人类偏好的多维特性。
核心思路：提出联合偏好优化（JPO）方法，通过同时评估指令和响应的偏好，增强偏好获取的全面性，从而提升模型的对齐效果。
技术框架：JPO方法的整体架构包括数据收集、偏好评估和模型训练三个主要阶段。首先收集指令-响应对的数据，然后通过用户反馈获取偏好，最后利用这些偏好进行模型训练。
关键创新：JPO的核心创新在于其优化目标，强调选择的指令-响应对的联合概率，相较于传统的条件排名方法（如DPO），能够更好地捕捉人类的偏好。
关键设计：在模型训练中，JPO采用了新的损失函数设计，重点关注选择对的概率，同时对拒绝对的概率进行相应的权重调整，以确保模型学习到更丰富的偏好信息。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用联合偏好优化（JPO）训练的模型在摘要任务上提高了5.2%的胜率，在开放式对话任务上提高了3.3%的胜率，显著优于传统的条件排名方法（DPO），显示出JPO在偏好获取和模型对齐方面的有效性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理中的对话系统、文本生成和信息摘要等。通过提升大语言模型的对齐效果，JPO方法可以在实际应用中提供更符合用户期望的生成结果，进而改善用户体验。未来，该方法可能对人机交互和智能助手的发展产生深远影响。
📄 摘要（原文）
A common technique for aligning large language models (LLMs) relies on acquiring human preferences by comparing multiple generations conditioned on a fixed context. This method, however, relies solely on pairwise comparisons, where the generations are evaluated within an identical context. While effective to such conditional preferences often fail to encompass the nuanced and multidimensional nature of human preferences. In this work, we revisit the traditional paradigm of preference acquisition and propose a new axis based on eliciting preferences jointly over the instruction-response pairs. Unlike prior preference optimizations, which are designed for conditional ranking protocols (e.g., DPO), we propose Joint Preference Optimization (JPO), a new preference optimization objective that upweights the joint probability of the chosen instruction-response pair over the rejected instruction-response pair. Interestingly, LLMs trained with joint instruction-response preference data using JPO outperform LLM trained with DPO by $5.2\%$ and $3.3\%$ win-rate for summarization and open-ended dialogue datasets, respectively. Our findings reveal that joint preferences over instruction and response pairs can significantly enhance the alignment of LLMs by tapping into a broader spectrum of human preference elicitation. The data and code is available at https://github.com/Hritikbansal/dove.