A Reductions Approach to Risk-Sensitive Reinforcement Learning with Optimized Certainty Equivalents
作者: Kaiwen Wang, Dawen Liang, Nathan Kallus, Wen Sun
分类: cs.LG
发布日期: 2024-03-10 (更新: 2025-02-28)
💡 一句话要点
提出优化确定性等价的风险敏感强化学习方法
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 风险敏感强化学习 优化确定性等价 马尔可夫决策过程 策略梯度 乐观算法
📋 核心要点
- 核心问题：现有风险敏感强化学习方法在处理复杂环境时，往往无法有效优化累积奖励的风险度量。
- 方法要点：提出基于乐观和策略梯度的两种元算法，利用优化确定性等价（OCE）来处理风险敏感问题。
- 实验或效果：实验证明所提算法在概念验证MDP中成功学习到最优历史依赖策略，超越传统马尔可夫策略。
📝 摘要（中文）
本文研究了风险敏感的强化学习，目标是学习一种历史依赖的策略，以优化累积奖励的某种风险度量。我们考虑了一类称为优化确定性等价（OCE）的风险，这类风险度量包括条件价值-at-risk（CVaR）、熵风险和Markowitz的均值-方差。在此背景下，我们提出了两种元算法：一种基于乐观思想，另一种基于策略梯度，均可利用风险中性强化学习算法在增强的马尔可夫决策过程（MDP）中。通过归约方法，我们利用风险中性强化学习的理论，在复杂的丰富观测MDP中建立了新的OCE界限。对于基于乐观的算法，我们证明了推广先前CVaR强化学习结果的界限，并为外生块MDP提供了首个风险敏感界限。对于基于梯度的算法，我们在离散奖励假设下建立了单调改进和全局收敛保证。最后，我们通过实验证明了我们的算法在一个概念验证的MDP中学习到了最优的历史依赖策略，而所有马尔可夫策略在该场景中均明显失败。
🔬 方法详解
问题定义：本文旨在解决风险敏感强化学习中的历史依赖策略优化问题。现有方法在复杂环境中难以有效处理累积奖励的风险度量，导致策略性能不足。
核心思路：论文提出了两种元算法，分别基于乐观和策略梯度，利用优化确定性等价（OCE）来捕捉重要的风险度量。这种设计使得算法能够在增强的马尔可夫决策过程中有效应用风险中性强化学习的理论。
技术框架：整体架构包括两个主要模块：乐观算法和基于策略梯度的算法。乐观算法通过建立新的OCE界限来优化策略，而梯度算法则在离散奖励假设下保证单调改进和全局收敛。
关键创新：最重要的技术创新在于通过归约方法建立了新的OCE界限，特别是在复杂的丰富观测MDP中，首次为外生块MDP提供了风险敏感界限。
关键设计：算法设计中涉及的关键参数包括风险度量的选择、损失函数的构建以及策略更新的具体实现，确保算法在不同环境下的有效性和稳定性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的算法在概念验证的MDP中成功学习到最优历史依赖策略，相较于传统马尔可夫策略，性能显著提升，展示了在复杂环境中处理风险的有效性。
🎯 应用场景
该研究的潜在应用领域包括金融决策、自动驾驶、机器人控制等需要考虑风险的场景。通过优化历史依赖策略，能够在复杂环境中实现更安全和高效的决策，具有重要的实际价值和未来影响。
📄 摘要（原文）
We study risk-sensitive RL where the goal is learn a history-dependent policy that optimizes some risk measure of cumulative rewards. We consider a family of risks called the optimized certainty equivalents (OCE), which captures important risk measures such as conditional value-at-risk (CVaR), entropic risk and Markowitz's mean-variance. In this setting, we propose two meta-algorithms: one grounded in optimism and another based on policy gradients, both of which can leverage the broad suite of risk-neutral RL algorithms in an augmented Markov Decision Process (MDP). Via a reductions approach, we leverage theory for risk-neutral RL to establish novel OCE bounds in complex, rich-observation MDPs. For the optimism-based algorithm, we prove bounds that generalize prior results in CVaR RL and that provide the first risk-sensitive bounds for exogenous block MDPs. For the gradient-based algorithm, we establish both monotone improvement and global convergence guarantees under a discrete reward assumption. Finally, we empirically show that our algorithms learn the optimal history-dependent policy in a proof-of-concept MDP, where all Markovian policies provably fail.