Leveraging Domain Knowledge for Efficient Reward Modelling in RLHF: A Case-Study in E-Commerce Opinion Summarization

📄 arXiv: 2402.15473v2 📥 PDF

作者: Swaroop Nath, Tejpalsingh Siledar, Sankara Sri Raghava Ravindra Muddu, Rupasai Rangaraju, Harshad Khadilkar, Pushpak Bhattacharyya, Suman Banerjee, Amey Patil, Sudhanshu Shekhar Singh, Muthusamy Chelliah, Nikesh Garera

分类: cs.CL, cs.LG

发布日期: 2024-02-23 (更新: 2024-04-18)

备注: 19 pages, 6 figures, 21 tables

💡 一句话要点

提出利用领域知识的高效奖励建模方法以解决RLHF中的标注挑战

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 人类反馈 奖励建模 领域知识 电子商务 意见摘要 数据集

📋 核心要点

  1. 现有RLHF方法需要大量人类偏好标注，导致在任务特定情况下的标注工作量庞大且不切实际。
  2. 本文提出将领域知识融入奖励模型的方法，显著减少偏好标注需求，提高模型的适应性和可解释性。
  3. 实验结果表明，该方法在电子商务意见摘要任务中，数据集规模减少至940个样本，ROUGE-L指标提升约4分。

📝 摘要（中文）

强化学习中的人类反馈（RLHF）已成为对齐语言模型与人类价值观的主流策略。该策略的关键在于学习一个能够反映人类潜在奖励模型的奖励模型（$$）。然而，现有方法需要大量的人类偏好标注，通常达到数万条，这在任务特定的情况下显得不切实际。为了解决这一挑战，本文提出了一种将领域知识融入奖励模型的方法，显著减少了所需的偏好标注量（减少21倍），并提供了一定的可解释性。我们在电子商务意见摘要任务中验证了该方法，数据集规模减少至940个样本，同时在ROUGE-L指标上提升了约4分，且在68%的情况下优于现有方法。我们的贡献包括一种新的奖励建模技术和两个新数据集：PromptOpinSumm和OpinPref。

🔬 方法详解

问题定义：本文旨在解决RLHF中对人类偏好标注需求过高的问题，现有方法在任务特定情况下难以满足标注需求，导致效率低下。

核心思路：通过将领域知识融入奖励模型（$f$），减少所需的偏好标注量，同时提高模型的可解释性和适应性。这样的设计使得模型能够在特定任务中更有效地反映人类的价值观。

技术框架：整体架构包括数据收集、领域知识提取、奖励模型构建和模型评估四个主要模块。首先收集少量标注数据，然后提取领域知识以辅助奖励模型的训练，最后进行模型的评估与优化。

关键创新：最重要的技术创新在于通过领域知识的引入，显著减少了偏好标注的需求（减少21倍），并且避免了对齐税（Alignment Tax），提升了模型的可解释性。

关键设计：在模型设计中，采用了特定的损失函数以平衡领域知识与人类偏好之间的关系，同时在网络结构上进行了优化，以确保模型能够有效学习到任务特定的奖励信号。具体的参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，采用新方法后，数据集规模从数万条减少至940条，同时在ROUGE-L指标上提升了约4分，且在68%的情况下优于现有的最先进方法。这表明该方法在提高效率和效果方面具有显著优势。

🎯 应用场景

该研究的潜在应用领域包括电子商务、社交媒体评论分析和其他需要人类反馈的自然语言处理任务。通过减少对人类偏好标注的依赖，该方法可以提高模型训练的效率，降低成本，并使得RLHF技术更广泛地适用于多种场景，具有重要的实际价值和未来影响。

📄 摘要（原文）

Reinforcement Learning from Human Feedback (RLHF) has become a dominating strategy in aligning Language Models (LMs) with human values/goals. The key to the strategy is learning a reward model ($\varphi$), which can reflect the latent reward model of humans. While this strategy has proven effective, the training methodology requires a lot of human preference annotation (usually in the order of tens of thousands) to train $\varphi$. Such a large-scale annotation is justifiable when it's a one-time effort, and the reward model is universally applicable. However, human goals are subjective and depend on the task, requiring task-specific preference annotations, which can be impractical to fulfill. To address this challenge, we propose a novel approach to infuse domain knowledge into $\varphi$, which reduces the amount of preference annotation required ($21\times$), omits Alignment Tax, and provides some interpretability. We validate our approach in E-Commerce Opinion Summarization, with a significant reduction in dataset size (to just $940$ samples) while advancing the SOTA ($\sim4$ point ROUGE-L improvement, $68\%$ of times preferred by humans over SOTA). Our contributions include a novel Reward Modeling technique and two new datasets: PromptOpinSumm (supervised data for Opinion Summarization) and OpinPref (a gold-standard human preference dataset). The proposed methodology opens up avenues for efficient RLHF, making it more adaptable to applications with varying human values. We release the artifacts (Code: github.com/efficient-rlhf. PromptOpinSumm: hf.co/prompt-opin-summ. OpinPref: hf.co/opin-pref) for usage under MIT License.