RIME: Robust Preference-based Reinforcement Learning with Noisy Preferences

📄 arXiv: 2402.17257v4 📥 PDF

作者: Jie Cheng, Gang Xiong, Xingyuan Dai, Qinghai Miao, Yisheng Lv, Fei-Yue Wang

分类: cs.LG, cs.AI, cs.RO

发布日期: 2024-02-27 (更新: 2024-10-28)

备注: Accepted by ICML 2024 (Spotlight, top 3.5%)

🔗 代码/项目: GITHUB

💡 一句话要点

提出RIME以解决偏好强化学习中的噪声反馈问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 偏好强化学习 鲁棒性 噪声反馈 样本选择 热启动 机器人操作 运动任务

📋 核心要点

  1. 现有的偏好强化学习方法过于依赖高质量的反馈，导致在噪声环境下表现不佳。
  2. RIME通过样本选择判别器动态过滤噪声，并引入热启动机制来提升奖励模型的鲁棒性。
  3. 在机器人操作和运动任务中的实验表明，RIME显著提高了PbRL方法的鲁棒性，效果优于现有技术。

📝 摘要（中文）

偏好强化学习（PbRL）通过利用人类偏好作为奖励信号，避免了奖励工程的需求。然而，现有PbRL方法过于依赖领域专家的高质量反馈，导致缺乏鲁棒性。本文提出了RIME，一种针对噪声偏好的鲁棒PbRL算法。该方法利用基于样本选择的判别器动态过滤噪声，确保鲁棒训练。为应对错误选择带来的累积误差，我们建议为奖励模型提供热启动，弥补PbRL中从预训练到在线训练的性能差距。实验结果表明，RIME显著增强了当前PbRL方法的鲁棒性。

🔬 方法详解

问题定义：本文旨在解决偏好强化学习中对高质量反馈的依赖问题，现有方法在面对噪声反馈时表现脆弱，缺乏鲁棒性。

核心思路：RIME的核心思路是通过样本选择判别器动态过滤噪声，并通过热启动机制减少错误选择带来的累积误差，从而提升奖励模型的鲁棒性。

技术框架：RIME的整体架构包括样本选择判别器、奖励模型和热启动机制。样本选择判别器负责动态过滤噪声，奖励模型则在经过热启动后进行在线训练。

关键创新：RIME的主要创新在于引入了样本选择判别器和热启动机制，这与传统PbRL方法依赖于固定反馈的方式有本质区别。

关键设计：在设计上，RIME采用了特定的损失函数来优化样本选择判别器，并在奖励模型中使用了适应性学习率，以便在训练过程中动态调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在机器人操作和运动任务中的实验结果表明，RIME相比于现有的PbRL方法，鲁棒性提升了显著，具体性能数据展示了在噪声环境下的稳定性和有效性，验证了其在实际应用中的优势。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动驾驶、个性化推荐等需要人机交互的场景。通过提升偏好强化学习的鲁棒性，RIME能够在更复杂和不确定的环境中有效应用，具有重要的实际价值和未来影响。

📄 摘要（原文）

Preference-based Reinforcement Learning (PbRL) circumvents the need for reward engineering by harnessing human preferences as the reward signal. However, current PbRL methods excessively depend on high-quality feedback from domain experts, which results in a lack of robustness. In this paper, we present RIME, a robust PbRL algorithm for effective reward learning from noisy preferences. Our method utilizes a sample selection-based discriminator to dynamically filter out noise and ensure robust training. To counteract the cumulative error stemming from incorrect selection, we suggest a warm start for the reward model, which additionally bridges the performance gap during the transition from pre-training to online training in PbRL. Our experiments on robotic manipulation and locomotion tasks demonstrate that RIME significantly enhances the robustness of the state-of-the-art PbRL method. Code is available at https://github.com/CJReinforce/RIME_ICML2024.