Direct Language Model Alignment from Online AI Feedback

📄 arXiv: 2402.04792v2 📥 PDF

作者: Shangmin Guo, Biao Zhang, Tianlin Liu, Tianqi Liu, Misha Khalman, Felipe Llinares, Alexandre Rame, Thomas Mesnard, Yao Zhao, Bilal Piot, Johan Ferret, Mathieu Blondel

分类: cs.AI, cs.CL, cs.HC

发布日期: 2024-02-07 (更新: 2024-02-29)

备注: 18 pages, 9 figures, 4 tables

💡 一句话要点

提出在线AI反馈方法以提升直接语言模型对齐效果

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 在线反馈 语言模型对齐 人类反馈 自然语言处理 机器学习

📋 核心要点

  1. 现有的DAP方法依赖于静态的偏好数据集，导致反馈过程为离线，无法适应模型的动态变化。
  2. 本文提出的OAIF方法通过实时在线反馈，利用LLM在每次训练中选择更优响应，从而提升对齐效果。
  3. 实验结果表明，OAIF在多个任务中表现优于传统的离线DAP和RLHF方法，且反馈过程易于控制。

📝 摘要（中文）

直接对齐偏好（DAP）方法，如DPO，近年来成为强化学习人类反馈（RLHF）的高效替代方案，但其偏好数据集通常在训练前收集且不更新，导致反馈为离线。本文提出在线AI反馈（OAIF）方法，通过在每次训练迭代中使用大型语言模型（LLM）作为注释者，实时选择两个响应，从而提供在线反馈。尽管方法简单，但通过多项任务的人类评估，OAIF在性能上超越了离线DAP和RLHF方法，并且反馈的可控性得到了验证。

🔬 方法详解

问题定义：本文旨在解决现有DAP方法中偏好数据集静态、反馈离线的问题。这导致模型对齐过程无法适应模型的演变，影响了对齐效果。

核心思路：OAIF方法的核心在于利用大型语言模型（LLM）作为在线注释者，在每次训练迭代中实时选择两个响应，从而提供即时反馈。这种设计使得反馈过程能够与模型的当前状态保持一致。

技术框架：OAIF的整体架构包括三个主要模块：首先，当前模型生成两个候选响应；其次，LLM注释者根据当前模型的输出选择更优的响应；最后，将选择结果用于模型的训练更新。

关键创新：OAIF的主要创新在于引入了在线反馈机制，区别于传统的离线数据集，能够实时适应模型的变化，从而提高对齐的准确性和效率。

关键设计：在技术细节上，OAIF通过设计特定的提示语来引导LLM进行选择，确保反馈的可控性。此外，损失函数的设计也考虑了如何有效整合LLM的反馈信息，以优化模型的训练过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，OAIF在多个任务中均优于传统的离线DAP和RLHF方法，具体性能提升幅度达到了XX%（具体数据待补充）。人类评估表明，OAIF提供的反馈更具有效性和可控性，显著改善了模型的对齐效果。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和智能助手等。OAIF方法能够提升模型的响应质量和用户体验，具有广泛的实际价值。未来，该方法可能推动更高效的在线学习和自适应系统的发展。

📄 摘要（原文）

Direct alignment from preferences (DAP) methods, such as DPO, have recently emerged as efficient alternatives to reinforcement learning from human feedback (RLHF), that do not require a separate reward model. However, the preference datasets used in DAP methods are usually collected ahead of training and never updated, thus the feedback is purely offline. Moreover, responses in these datasets are often sampled from a language model distinct from the one being aligned, and since the model evolves over training, the alignment phase is inevitably off-policy. In this study, we posit that online feedback is key and improves DAP methods. Our method, online AI feedback (OAIF), uses an LLM as annotator: on each training iteration, we sample two responses from the current model and prompt the LLM annotator to choose which one is preferred, thus providing online feedback. Despite its simplicity, we demonstrate via human evaluation in several tasks that OAIF outperforms both offline DAP and RLHF methods. We further show that the feedback leveraged in OAIF is easily controllable, via instruction prompts to the LLM annotator.