Safe Multi-Objective Reinforcement Learning: Zero Constraint Violation and Primal-Averaging Convergence

📄 arXiv: 2610.39409v1 📥 PDF

作者: Chenxi Li, Yao Shu, Siyang Gao, Shuang Qiu, Guangxin Jiang

分类: cs.LG, cs.AI, math.OC, stat.ML

发布日期: 2026-10-29

💡 一句话要点

提出安全多目标强化学习算法以解决约束违反问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多目标强化学习 安全约束 Pareto最优策略 探索与规划 样本高效算法

📋 核心要点

  1. 现有的多目标强化学习方法在面对未知动态和约束成本时，难以在探索中保持安全，容易导致约束违反。
  2. 本文提出的算法结合乐观奖励估计与悲观成本界限，确保在学习过程中实现零约束违反，并学习安全的Pareto最优策略。
  3. 实验结果表明，所提算法在$T$个探索回合中保持零约束违反，且在平滑的Tchebycheff标量化下实现了$ ilde{O}(1/ ext{sqrt}(T))$的次优性差距。

📝 摘要（中文）

许多多目标强化学习（MORL）的应用需要在满足安全约束的同时平衡相互冲突的目标。本文研究了在学习过程中零约束违反的安全MORL，涵盖了累积和逐步约束。我们提出了一种算法，通过结合乐观的奖励估计和悲观的成本界限，学习安全的Pareto最优策略。该算法在高概率下保证每个执行的策略在$T$个回合中没有约束违反，并返回由平均占用度量诱导的安全马尔可夫策略。我们进一步开发了一种无偏好算法，首先安全探索，然后在不再交互的情况下计算任何给定偏好的安全策略。我们提供了首个保证每个执行策略安全的样本高效MORL算法。

🔬 方法详解

问题定义：本文旨在解决多目标强化学习中的安全性问题，尤其是在未知动态和约束成本的情况下，现有方法往往无法保证在探索过程中不违反约束。

核心思路：我们提出的算法通过结合乐观的奖励估计和悲观的成本界限，确保在学习过程中实现零约束违反，从而学习到安全的Pareto最优策略。

技术框架：算法分为两个主要阶段：首先是安全探索阶段，在此阶段不需要预设偏好；其次是策略计算阶段，根据探索结果计算满足给定偏好的安全策略。

关键创新：本文的主要创新在于提供了首个保证每个执行策略安全的样本高效MORL算法，且在探索和规划过程中均保持零约束违反。

关键设计：算法需要对一个严格满足约束的策略及其成本有一定的了解，此外还放宽了这些要求，允许在最坏情况下有常数累积违反。

📊 实验亮点

实验结果显示，所提算法在$T$个探索回合中保证零约束违反，并在平滑的Tchebycheff标量化下实现了$ ilde{O}(1/ ext{sqrt}(T))$的次优性差距。此外，偏好无关算法在$K$次规划迭代中也保持了相同的安全保证，次优性差距为$ ilde{O}(1/ ext{sqrt}(T)+1/ ext{sqrt}(K))$。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、金融决策等需要在多个目标之间进行权衡并满足安全约束的场景。通过提供安全的多目标策略，能够有效提升系统的可靠性和安全性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Many applications of multi-objective reinforcement learning (MORL) require policies that balance conflicting objectives while satisfying safety constraints. We study safe MORL with zero constraint violation throughout learning, covering both cumulative and stepwise constraints. A key challenge is to explore sufficiently under unknown dynamics and constraint costs without violating the constraints. For a given preference over objectives, we develop an algorithm to learn a safe Pareto optimal policy by combining optimistic reward estimates with pessimistic cost bounds. With high probability, every policy executed over $T$ episodes incurs zero constraint violation. The algorithm returns a safe Markov policy induced by the averaged occupancy measure and achieves an $\widetilde{O}(1/\sqrt{T})$ suboptimality gap under smooth Tchebycheff scalarization. We further develop a preference-free algorithm that first explores safely without a prespecified preference and then computes a safe policy for any given preference without further interaction. Over $T$ exploration episodes and $K$ planning iterations, it retains the same safety guarantee and achieves an $\widetilde{O}(1/\sqrt{T}+1/\sqrt{K})$ suboptimality gap. Both algorithms require knowledge of a policy that strictly satisfies the constraints and its costs. We then relax these requirements, incurring at most constant cumulative violation. To our knowledge, we provide the first sample-efficient MORL algorithms that guarantee safety for every executed policy.