Curry-DPO: Enhancing Alignment using Curriculum Learning & Ranked Preferences

📄 arXiv: 2403.07230v2 📥 PDF

作者: Pulkit Pattnaik, Rishabh Maheshwary, Kelechi Ogueji, Vikas Yadav, Sathwik Tejaswi Madhusudhan

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-03-12 (更新: 2024-11-08)

备注: Published at EMNLP 2024 as long (findings) conference paper

🔗 代码/项目: HUGGINGFACE

💡 一句话要点

提出Curry-DPO以提升大语言模型的对齐效果

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 直接偏好优化 课程学习 大语言模型 人机对齐 性能提升

📋 核心要点

  1. 现有的DPO方法通常只利用单一的偏好对，限制了模型对人类偏好的准确对齐。
  2. Curry-DPO通过课程学习方法，利用多个偏好对进行系统性训练，从而提升模型的对齐效果。
  3. 实验结果显示，Curry-DPO在多个基准测试集上均取得了显著的性能提升，尤其在MT-bench上表现突出。

📝 摘要（中文）

直接偏好优化（DPO）是一种有效的技术，利用成对的偏好数据（通常是每个用户提示下选择和拒绝的响应对）来对齐大语言模型（LLMs）与人类偏好。针对现有方法的局限性，本文提出了一种新的方法Curry-DPO，通过课程学习的方式，系统性地利用多个偏好对进行DPO训练。我们将这些偏好对按照难易程度进行排序，并展示了与标准单对DPO设置的详细比较。实验结果表明，Curry-DPO在多个测试集上均表现出显著的性能提升，尤其在MT-bench上取得了7.43的得分，超越了大多数同类模型。

🔬 方法详解

问题定义：本文旨在解决现有直接偏好优化（DPO）方法中仅依赖单一偏好对的问题，这限制了模型对人类偏好的准确对齐。

核心思路：Curry-DPO通过课程学习的方法，利用多个偏好对来进行DPO训练，按照难易程度对偏好对进行排序，从而提升模型的学习效果。

技术框架：Curry-DPO的整体架构包括数据准备阶段（构建多个偏好对）、课程学习阶段（根据难度排序偏好对）和DPO训练阶段（使用排序后的偏好对进行训练）。

关键创新：Curry-DPO的主要创新在于引入了课程学习的思想，通过系统性地使用多个偏好对来增强模型的对齐能力，这与传统的单对DPO方法形成了鲜明对比。

关键设计：在技术细节上，Curry-DPO设计了特定的损失函数以优化多个偏好对的学习，同时在模型训练过程中采用了动态调整的学习率策略，以适应不同难度的偏好对。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

Curry-DPO在MT-bench上取得了7.43的得分，超越了大多数同类模型，且在Vicuna、WizardLM和UltraFeedback测试集上分别达到了90.7%、87.1%和87.9%的调整胜率，相较于标准DPO技术提升幅度最高可达7.5%。

🎯 应用场景

Curry-DPO的研究成果在多个领域具有潜在应用价值，尤其是在需要高质量人机交互的场景中，如智能客服、个性化推荐系统和对话生成等。通过提升大语言模型的对齐效果，可以更好地满足用户的需求，提升用户体验。未来，该方法还可能推动更广泛的AI系统的优化与发展。

📄 摘要（原文）

Direct Preference Optimization (DPO) is an effective technique that leverages pairwise preference data (usually one chosen and rejected response pair per user prompt) to align LLMs to human preferences. In practice, multiple responses can exist for a given prompt with varying quality relative to each other. With availability of such quality ratings for multiple responses, we propose utilizing these responses to create multiple preference pairs for a given prompt. Our work focuses on systematically using the constructed multiple preference pair in DPO training via curriculum learning methodology. In particular, we order these multiple pairs of preference data from easy to hard (emulating curriculum training) according to various criteria. We show detailed comparisons of our proposed approach to the standard single-pair DPO setting. Our method, which we call Curry-DPO consistently shows increased performance gains on MTbench, Vicuna, WizardLM, and the UltraFeedback test set, highlighting its effectiveness. More specifically, Curry-DPO achieves a score of 7.43 on MT-bench with Zephy-7B model outperforming majority of existing LLMs with similar parameter size. Curry-DPO also achieves the highest adjusted win rates on Vicuna, WizardLM, and UltraFeedback test datasets (90.7%, 87.1%, and 87.9% respectively) in our experiments, with notable gains of upto 7.5% when compared to standard DPO technique. We release the preference pairs used in alignment at: https://huggingface.co/datasets/ServiceNow-AI/Curriculum_DPO_preferences