Optimistic Model Rollouts for Pessimistic Offline Policy Optimization

📄 arXiv: 2401.05899v1 📥 PDF

作者: Yuanzhao Zhai, Yiying Li, Zijian Gao, Xudong Gong, Kele Xu, Dawei Feng, Ding Bo, Huaimin Wang

分类: cs.LG

发布日期: 2024-01-11

💡 一句话要点

提出乐观模型回滚以解决悲观离线策略优化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 离线强化学习 马尔可夫决策过程 策略优化 泛化能力 模型回滚

📋 核心要点

  1. 现有的悲观马尔可夫决策过程（P-MDP）方法限制了策略在分布外区域的学习，未能充分利用动态模型的泛化能力。
  2. 本文提出了一种新的乐观马尔可夫决策过程（O-MDP），通过鼓励更多的OOD回滚来生成乐观模型回滚，以优化离线策略。
  3. 实验结果显示，ORPO框架在性能上比P-MDP基线提升了30%，在需要泛化的任务中表现出显著优势。

📝 摘要（中文）

基于模型的离线强化学习（RL）取得了显著进展，为利用合成模型回滚改善泛化能力提供了有希望的途径。现有研究主要集中在通过构建悲观马尔可夫决策过程（P-MDP）来进行策略优化，然而，P-MDP会抑制策略在离线数据集支持之外的分布外（OOD）区域的学习，导致动态模型的泛化能力未被充分利用。为此，本文提出构建乐观马尔可夫决策过程（O-MDP），并提出了ORPO框架，旨在通过鼓励更多的OOD回滚来实现乐观策略生成。我们在O-MDP中训练乐观回滚策略，以采样更多的OOD模型回滚，然后用惩罚奖励重新标记采样的状态-动作对，并在P-MDP中优化输出策略。理论上，我们证明了使用ORPO训练的策略在线性MDP中的性能下界。实验结果表明，我们的框架显著优于P-MDP基线，提升幅度达到30%，在广泛使用的基准测试中实现了最先进的性能。

🔬 方法详解

问题定义：本文旨在解决现有悲观离线策略优化方法在分布外区域学习不足的问题，导致动态模型的泛化能力未被充分利用。

核心思路：通过构建乐观马尔可夫决策过程（O-MDP），鼓励生成更多的OOD模型回滚，从而提升策略的学习能力和泛化性能。

技术框架：ORPO框架包括两个主要阶段：首先在O-MDP中训练乐观回滚策略以生成OOD回滚；然后在P-MDP中使用惩罚奖励对采样的状态-动作对进行重新标记，并优化输出策略。

关键创新：最重要的创新在于引入了乐观回滚策略的概念，与传统的悲观策略优化方法形成鲜明对比，充分利用了动态模型的潜力。

关键设计：在设计中，关键参数包括惩罚奖励的设置，回滚策略的训练方式，以及在P-MDP中优化策略的具体算法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ORPO框架在多个基准测试中显著优于P-MDP基线，性能提升幅度达到30%。该框架在需要泛化的任务中表现出色，展示了其在实际应用中的潜力。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、游戏智能体等需要高效学习和泛化能力的场景。通过提升策略在分布外区域的学习能力，ORPO框架能够在复杂环境中实现更好的决策性能，具有重要的实际价值和未来影响。

📄 摘要（原文）

Model-based offline reinforcement learning (RL) has made remarkable progress, offering a promising avenue for improving generalization with synthetic model rollouts. Existing works primarily focus on incorporating pessimism for policy optimization, usually via constructing a Pessimistic Markov Decision Process (P-MDP). However, the P-MDP discourages the policies from learning in out-of-distribution (OOD) regions beyond the support of offline datasets, which can under-utilize the generalization ability of dynamics models. In contrast, we propose constructing an Optimistic MDP (O-MDP). We initially observed the potential benefits of optimism brought by encouraging more OOD rollouts. Motivated by this observation, we present ORPO, a simple yet effective model-based offline RL framework. ORPO generates Optimistic model Rollouts for Pessimistic offline policy Optimization. Specifically, we train an optimistic rollout policy in the O-MDP to sample more OOD model rollouts. Then we relabel the sampled state-action pairs with penalized rewards and optimize the output policy in the P-MDP. Theoretically, we demonstrate that the performance of policies trained with ORPO can be lower-bounded in linear MDPs. Experimental results show that our framework significantly outperforms P-MDP baselines by a margin of 30%, achieving state-of-the-art performance on the widely-used benchmark. Moreover, ORPO exhibits notable advantages in problems that require generalization.