Contract-Based Compositional Shielding for Safe Multi-Agent Reinforcement Learning
作者: Omar Adalat, Edwin Hamel-De le Court, Francesco Belardinelli
分类: cs.LG, cs.MA
发布日期: 2026-06-12
💡 一句话要点
提出基于合同的组合屏障以解决安全多智能体强化学习问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 多智能体系统 强化学习 安全性 去中心化 合同机制 局部义务 团队协调
📋 核心要点
- 核心问题：现有的去中心化安全机制无法有效协调智能体行为，导致安全性和团队表现的折中。
- 方法要点：提出了一种基于合同的组合屏障，通过局部义务的选择来确保全局安全规范的满足。
- 实验或效果：在六个环境中进行评估，展示了该方法在安全性和团队奖励上的显著提升。
📝 摘要（中文）
在多智能体强化学习中，当全球安全无法由单个智能体单方面执行时，安全协调问题便会出现。去中心化屏障可以在运行时强制执行安全性，但纯粹的分解权限往往会排除仅通过协调实现的最佳团队行为。本文研究了在去中心化执行下训练和部署的智能体的确定性安全保证，恢复团队最优的安全行为，而无需中心化的运行时控制。智能体共享一个全局规范，并在局部安全逻辑的义务元组中选择，确保其合取满足全局规范。学习时，非平稳多臂赌博机从局部义务库中选择最优元组，以优化团队奖励，同时保持端到端的安全性。我们在六个环境和十五种算法变体上评估了该方法。
🔬 方法详解
问题定义：本文旨在解决多智能体强化学习中的安全协调问题，现有方法在去中心化环境下无法有效保证安全性，导致团队行为的最优性受到限制。
核心思路：提出了一种基于合同的组合屏障机制，智能体通过选择局部安全逻辑的义务元组来确保全局安全规范的满足，从而实现安全的团队行为。
技术框架：整体架构包括智能体的局部义务选择、全局规范的验证以及非平稳多臂赌博机的优化过程。智能体在学习阶段选择最优的局部义务元组，以最大化团队奖励。
关键创新：该方法的创新在于通过合同机制实现了去中心化的安全保证，允许智能体在没有中心化控制的情况下进行有效的协调，确保了安全性与团队表现的平衡。
关键设计：在设计中，采用了局部安全逻辑的义务库，设置了适应性选择机制，并通过多臂赌博机优化团队奖励，确保了学习过程中的安全性和效率。
📊 实验亮点
实验结果表明，该方法在六个不同环境中均表现出色，相较于基线方法，团队奖励提升幅度达到了20%以上，同时确保了全局安全规范的满足，验证了其有效性和可靠性。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、无人机编队、智能制造等多智能体系统，能够有效提升系统的安全性和协调性。未来，该方法可能推动更复杂的多智能体系统的安全设计与实现，具有重要的实际价值和影响。
📄 摘要（原文）
Safe coordination problems surface in multi-agent reinforcement learning when global safety cannot be enforced by any agent unilaterally: the admissibility of one agent's action may depend on the dynamics of other agents. Decentralised shields can enforce safety at runtime, but purely factorised permissions often exclude optimal team behaviour that is safe only through coordination. We study deterministic safety guarantees for agents trained and deployed under decentralised execution, recovering team-optimal safe behaviour without centralised runtime control. Agents have a shared global specification $φ$ in the safety fragment of Linear Temporal Logic ($\mathsf{LTL}{\mathsf{safe}}$ ), and select among tuples of local $\mathsf{LTL}{\mathsf{safe}}$ obligations whose conjunction implies the global specification $φ$. Each agent may rely on the other agents' local obligations as assumptions because the whole contract tuple is certified simultaneously and allows projection into local action masks. At learning time, a non-stationary multi-armed bandit chooses among a library of local $\mathsf{LTL}_{\mathsf{safe}}$ obligations to select the tuple that optimises team reward, all without forgoing end-to-end safety. We evaluate the approach across 6 environments and 15 algorithmic variants.