Towards Robust Model-Based Reinforcement Learning Against Adversarial Corruption

📄 arXiv: 2402.08991v3 📥 PDF

作者: Chenlu Ye, Jiafan He, Quanquan Gu, Tong Zhang

分类: stat.ML, cs.LG

发布日期: 2024-02-14 (更新: 2024-07-20)

💡 一句话要点

提出CR-OMLE和CR-PMLE以解决模型基础强化学习中的对抗性腐蚀问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 模型基础强化学习 对抗性腐蚀 最大似然估计 鲁棒性 算法设计

📋 核心要点

  1. 现有的腐蚀鲁棒强化学习方法主要集中在无模型设置，无法直接应用于模型基础强化学习，导致模型的转移动态易受到对抗性腐蚀的影响。
  2. 本论文提出了CR-OMLE和CR-PMLE算法，通过最大似然估计方法和基于总变差的信息比率作为不确定性权重，增强了模型基础强化学习的鲁棒性。
  3. CR-OMLE在在线设置下实现了$ ilde{ ext{O}}( ext{√T} + C)$的后悔值，CR-PMLE在离线设置下的次优性受到$ ext{O}(C/n)$的影响，接近理论下界。

📝 摘要（中文）

本研究针对模型基础强化学习中的对抗性腐蚀挑战，提出了一种新的方法。现有的腐蚀鲁棒强化学习研究主要集中在无模型强化学习上，而本论文则专注于模型基础强化学习，采用最大似然估计（MLE）方法学习转移模型。我们提出了腐蚀鲁棒乐观MLE（CR-OMLE）算法，并证明其在在线设置下的后悔值为$ ilde{ ext{O}}( ext{√T} + C)$，其中$C$表示经过$T$个回合后的累积腐蚀水平。此外，我们还扩展了该技术到离线设置，提出了腐蚀鲁棒悲观MLE（CR-PMLE）。

🔬 方法详解

问题定义：本研究旨在解决模型基础强化学习中对抗性腐蚀的问题。现有方法主要集中在无模型强化学习，无法有效应对模型动态的腐蚀，导致性能下降。

核心思路：本论文采用最大似然估计（MLE）方法来学习转移模型，并引入基于总变差的信息比率作为不确定性权重，以提高模型的鲁棒性。

技术框架：整体架构包括在线和离线两种设置。在在线设置中，使用CR-OMLE算法进行学习；在离线设置中，使用CR-PMLE算法。两个算法都考虑了腐蚀对学习过程的影响。

关键创新：本研究首次提出了具有可证明保证的腐蚀鲁棒模型基础强化学习算法，填补了该领域的研究空白。CR-OMLE和CR-PMLE在处理对抗性腐蚀方面具有显著的理论优势。

关键设计：CR-OMLE的后悔值为$ ilde{ ext{O}}( ext{√T} + C)$，而CR-PMLE在均匀覆盖条件下的次优性受$ ext{O}(C/n)$影响，接近理论下界。

📊 实验亮点

实验结果表明，CR-OMLE在在线设置下的后悔值为$ ilde{ ext{O}}( ext{√T} + C)$，而CR-PMLE在离线设置下的次优性受到$ ext{O}(C/n)$的影响，几乎达到了理论下界。这些结果显示了所提算法在对抗性腐蚀下的有效性和鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、金融决策等需要在不确定环境中进行决策的场景。通过提高模型基础强化学习的鲁棒性，能够更好地应对对抗性攻击，从而提升系统的安全性和可靠性。

📄 摘要（原文）

This study tackles the challenges of adversarial corruption in model-based reinforcement learning (RL), where the transition dynamics can be corrupted by an adversary. Existing studies on corruption-robust RL mostly focus on the setting of model-free RL, where robust least-square regression is often employed for value function estimation. However, these techniques cannot be directly applied to model-based RL. In this paper, we focus on model-based RL and take the maximum likelihood estimation (MLE) approach to learn transition model. Our work encompasses both online and offline settings. In the online setting, we introduce an algorithm called corruption-robust optimistic MLE (CR-OMLE), which leverages total-variation (TV)-based information ratios as uncertainty weights for MLE. We prove that CR-OMLE achieves a regret of $\tilde{\mathcal{O}}(\sqrt{T} + C)$, where $C$ denotes the cumulative corruption level after $T$ episodes. We also prove a lower bound to show that the additive dependence on $C$ is optimal. We extend our weighting technique to the offline setting, and propose an algorithm named corruption-robust pessimistic MLE (CR-PMLE). Under a uniform coverage condition, CR-PMLE exhibits suboptimality worsened by $\mathcal{O}(C/n)$, nearly matching the lower bound. To the best of our knowledge, this is the first work on corruption-robust model-based RL algorithms with provable guarantees.