Token-level Direct Preference Optimization

📄 arXiv: 2404.11999v5 📥 PDF

作者: Yongcheng Zeng, Guoqing Liu, Weiyu Ma, Ning Yang, Haifeng Zhang, Jun Wang

分类: cs.CL, cs.AI

发布日期: 2024-04-18 (更新: 2024-08-30)

🔗 代码/项目: GITHUB

💡 一句话要点

提出Token级直接偏好优化以解决LLM对人类偏好的对齐问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 偏好优化 自然语言处理 对话系统 情感生成 生成模型 机器学习

📋 核心要点

  1. 现有的微调方法在对齐大型语言模型与人类偏好时面临效率低下和多样性不足的问题。
  2. 本文提出的Token级直接偏好优化（TDPO）通过在token级别优化策略，解决了传统方法的局限性。
  3. 实验结果显示，TDPO在情感生成和单轮对话任务中优于DPO和PPO，提升了生成质量和多样性。

📝 摘要（中文）

微调预训练的大型语言模型（LLMs）对于使其与人类价值观和意图对齐至关重要。现有方法通常依赖于成对比较和相对于参考LLM的KL散度，主要关注模型生成的完整答案的评估。然而，这些响应的生成是在token级别上进行的，遵循顺序自回归的方式。本文提出了一种新的方法——Token级直接偏好优化（TDPO），通过在token级别优化策略来对齐LLMs与人类偏好。与以往方法面临的散度效率挑战不同，TDPO为每个token引入了前向KL散度约束，从而提高了对齐性和多样性。实验结果表明，TDPO在多个文本任务中表现优越，尤其在情感生成和单轮对话数据集上，相较于DPO和基于PPO的RLHF方法显著提升了生成响应的质量。

🔬 方法详解

问题定义：本文旨在解决大型语言模型（LLMs）在生成响应时与人类偏好对齐的效率和多样性不足的问题。现有方法主要依赖于全答案的评估，导致对齐效果不佳。

核心思路：TDPO通过在token级别进行优化，采用前向KL散度约束来提升对齐性和多样性，避免了传统方法的效率瓶颈。

技术框架：TDPO的整体架构包括token级别的策略优化模块和基于Bradley-Terry模型的奖励系统，确保每个token的生成都能有效反映人类偏好。

关键创新：TDPO的主要创新在于引入了token级的KL散度约束，显著提高了对齐效率和生成多样性，与传统的全答案评估方法形成鲜明对比。

关键设计：在设计中，TDPO采用了简单的奖励建模方式，避免了复杂的显式奖励函数，同时通过调节KL散度的参数来优化生成质量。实验中，TDPO在多个任务上均显示出优越的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TDPO在情感生成和单轮对话任务中显著优于DPO和基于PPO的RLHF方法，提升幅度达到XX%（具体数据待补充），有效平衡了生成的对齐性和多样性，展示了其在实际应用中的潜力。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的对话系统、情感分析和内容生成等。通过更好地对齐模型与人类偏好，TDPO可以提升用户体验，增强人机交互的自然性和有效性，未来可能在智能助手和自动内容生成等领域发挥重要作用。

📄 摘要（原文）

Fine-tuning pre-trained Large Language Models (LLMs) is essential to align them with human values and intentions. This process often utilizes methods like pairwise comparisons and KL divergence against a reference LLM, focusing on the evaluation of full answers generated by the models. However, the generation of these responses occurs in a token level, following a sequential, auto-regressive fashion. In this paper, we introduce Token-level Direct Preference Optimization (TDPO), a novel approach to align LLMs with human preferences by optimizing policy at the token level. Unlike previous methods, which face challenges in divergence efficiency, TDPO incorporates forward KL divergence constraints for each token, improving alignment and diversity. Utilizing the Bradley-Terry model for a token-based reward system, TDPO enhances the regulation of KL divergence, while preserving simplicity without the need for explicit reward modeling. Experimental results across various text tasks demonstrate TDPO's superior performance in balancing alignment with generation diversity. Notably, fine-tuning with TDPO strikes a better balance than DPO in the controlled sentiment generation and single-turn dialogue datasets, and significantly improves the quality of generated responses compared to both DPO and PPO-based RLHF methods. Our code is open-sourced at https://github.com/Vance0124/Token-level-Direct-Preference-Optimization.