Self-Rewarding Language Models

📄 arXiv: 2401.10020v3 📥 PDF

作者: Weizhe Yuan, Richard Yuanzhe Pang, Kyunghyun Cho, Xian Li, Sainbayar Sukhbaatar, Jing Xu, Jason Weston

分类: cs.CL, cs.AI

发布日期: 2024-01-18 (更新: 2025-03-28)

备注: ICML 2024

💡 一句话要点

提出自奖励语言模型以提升训练反馈质量

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自奖励模型 大语言模型 迭代训练 人类反馈 智能体优化

📋 核心要点

  1. 现有方法依赖人类反馈训练奖励模型，可能受到人类性能的限制，无法实现超人类智能体的目标。
  2. 本研究提出自奖励语言模型，通过大语言模型自身生成奖励信号，提升训练过程中的反馈质量。
  3. 实验结果表明，经过三轮迭代训练，模型在AlpacaEval 2.0排行榜上表现优于多个现有系统，显示出显著的性能提升。

📝 摘要（中文）

我们认为，为了实现超人类智能体，未来模型需要超人类反馈以提供足够的训练信号。目前的方法通常依赖于人类偏好的奖励模型，这可能受到人类性能水平的限制。此外，这些独立的固定奖励模型在大语言模型训练过程中无法学习改进。本研究探讨了自奖励语言模型，通过使用大语言模型作为评判者来提供自身奖励。我们展示了在迭代DPO训练过程中，不仅指令跟随能力得到了提升，自我奖励的质量也显著提高。对Llama 2 70B进行三轮迭代训练后，模型在AlpacaEval 2.0排行榜上超越了许多现有系统，包括Claude 2、Gemini Pro和GPT-4 0613。尽管仍有许多待探索的领域，这项工作为模型在两个维度上持续改进开辟了可能性。

🔬 方法详解

问题定义：本论文旨在解决现有奖励模型依赖人类反馈的局限性，导致模型性能受限的问题。现有方法无法在训练过程中自我改进，限制了模型的潜力。

核心思路：论文提出自奖励语言模型，通过大语言模型自身生成奖励信号，允许模型在训练过程中自我评估和改进，从而提升其指令跟随能力和自我奖励质量。

技术框架：整体架构包括三个主要阶段：首先，使用大语言模型生成奖励信号；其次，进行迭代DPO训练；最后，通过自我反馈机制不断优化模型性能。

关键创新：最重要的技术创新在于将大语言模型作为评判者，允许其在训练过程中自我生成奖励信号，与传统依赖人类反馈的模型形成本质区别。

关键设计：在参数设置上，采用了Llama 2 70B作为基础模型，损失函数设计上注重自我奖励的质量评估，网络结构则优化了模型的指令跟随能力。通过三轮迭代训练，模型逐步提升了自我反馈的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，经过三轮迭代训练后，模型在AlpacaEval 2.0排行榜上超越了Claude 2、Gemini Pro和GPT-4 0613等多个系统，展现出显著的性能提升，具体表现为在指令跟随和自我奖励质量方面的双重进步。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动化内容生成和人机交互等。通过提升模型的自我反馈能力，未来的智能体可以在更复杂的任务中表现出更高的灵活性和适应性，推动人工智能的发展。其实际价值在于能够减少对人类反馈的依赖，从而加速模型的训练和优化过程。

📄 摘要（原文）

We posit that to achieve superhuman agents, future models require superhuman feedback in order to provide an adequate training signal. Current approaches commonly train reward models from human preferences, which may then be bottlenecked by human performance level, and secondly these separate frozen reward models cannot then learn to improve during LLM training. In this work, we study Self-Rewarding Language Models, where the language model itself is used via LLM-as-a-Judge prompting to provide its own rewards during training. We show that during Iterative DPO training that not only does instruction following ability improve, but also the ability to provide high-quality rewards to itself. Fine-tuning Llama 2 70B on three iterations of our approach yields a model that outperforms many existing systems on the AlpacaEval 2.0 leaderboard, including Claude 2, Gemini Pro, and GPT-4 0613. While there is much left still to explore, this work opens the door to the possibility of models that can continually improve in both axes.