DMoERM: Recipes of Mixture-of-Experts for Effective Reward Modeling

📄 arXiv: 2403.01197v2 📥 PDF

作者: Shanghaoran Quan

分类: cs.CL

发布日期: 2024-03-02 (更新: 2024-04-28)

备注: 23 pages, 8 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出DMoERM以解决奖励模型训练中的多任务干扰与噪声问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 奖励模型 专家混合 多任务学习 自然语言处理 模型对齐

📋 核心要点

  1. 现有奖励模型训练面临多任务干扰和人工标注一致性低的问题，影响模型的泛化能力和训练效果。
  2. 本文提出双层专家混合模型DMoERM，通过将输入分类并路由至任务特定模型，解决了多任务干扰和噪声问题。
  3. 实验结果显示，DMoERM在与人工偏好一致性方面优于现有方法，并在强化学习实验中表现出色，减轻了过度优化问题。

📝 摘要（中文）

奖励模型（RM）的性能是提升大型语言模型（LLM）对齐微调效果的关键因素。现有RM训练面临两个挑战：一是使用不同类别数据训练同一RM可能导致多任务干扰，从而影响其泛化性能；二是人工标注一致性率通常仅为60%到75%，使得训练数据中存在大量噪声。为解决这两个问题，本文首次将专家混合（MoE）思想引入RM领域，提出了双层MoE RM（DMoERM）。外层MoE为稀疏模型，输入经过任务分类后路由至相应的内层任务特定模型，内层MoE为密集模型。我们将特定任务分解为多个能力维度，并对每个维度单独微调LoRA专家，最终通过MLP合成输出计算最终奖励。验证结果表明，该模型在与人工偏好一致性方面表现优越，并超越了先进的生成方法。

🔬 方法详解

问题定义：本文旨在解决奖励模型训练中的多任务干扰和人工标注噪声问题。现有方法在使用多类别数据时，容易导致模型泛化性能下降，同时人工标注的一致性较低，增加了训练数据的噪声。

核心思路：论文提出的DMoERM模型通过引入双层专家混合结构，外层为稀疏模型，内层为密集模型，能够有效分类输入并针对特定任务进行优化，从而提高模型的鲁棒性和一致性。

技术框架：DMoERM的整体架构包括外层MoE和内层MoE。外层负责任务分类，内层则针对每个能力维度进行LoRA专家的微调，最终通过多层感知机（MLP）合成输出。

关键创新：DMoERM的主要创新在于首次将专家混合模型应用于奖励模型训练，通过分层结构有效解决了多任务干扰和噪声问题，与传统方法相比具有显著的性能提升。

关键设计：模型设计中，外层MoE采用稀疏结构以减少计算成本，内层MoE则通过对每个能力维度进行单独微调来增强模型的适应性，损失函数和网络结构经过精心设计以确保训练效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DMoERM在与人工偏好一致性方面达到了显著的提升，超越了现有的生成方法。此外，通过BoN采样和强化学习实验，DMoERM在多个基准测试中优于最先进的集成方法，展示了其在奖励模型领域的领先地位。

🎯 应用场景

DMoERM模型在奖励模型训练中的应用潜力巨大，能够有效提升大型语言模型的对齐微调效果，适用于自然语言处理、对话系统等领域。未来，该方法有望推动更高效的模型训练和更准确的用户偏好捕捉，促进智能系统的进一步发展。

📄 摘要（原文）

The performance of the reward model (RM) is a critical factor in improving the effectiveness of the large language model (LLM) during alignment fine-tuning. There remain two challenges in RM training: 1) training the same RM using various categories of data may cause its generalization performance to suffer from multi-task disturbance, and 2) the human annotation consistency rate is generally only $60\%$ to $75\%$, causing training data to contain a lot of noise. To tackle these two challenges, we introduced the idea of Mixture-of-Experts (MoE) into the field of RM for the first time. We propose the Double-Layer MoE RM (DMoERM). The outer layer MoE is a sparse model. After classifying an input into task categories, we route it to the corresponding inner layer task-specific model. The inner layer MoE is a dense model. We decompose the specific task into multiple capability dimensions and individually fine-tune a LoRA expert on each one. Their outputs are then synthesized by an MLP to compute the final rewards. To minimize costs, we call a public LLM API to obtain the capability preference labels. The validation on manually labeled datasets confirms that our model attains superior consistency with human preference and outstrips advanced generative approaches. Meanwhile, through BoN sampling and RL experiments, we demonstrate that our model outperforms state-of-the-art ensemble methods of RM and mitigates the overoptimization problem. Our code and dataset are available at: https://github.com/quanshr/DMoERM-v1.