Provable Traffic Rule Compliance in Safe Reinforcement Learning on the Open Sea
作者: Hanna Krasowski, Matthias Althoff
分类: cs.LG, eess.SY
发布日期: 2024-02-13 (更新: 2024-05-16)
💡 一句话要点
提出基于时序逻辑的强化学习方法以确保海上交通规则合规性
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 时序逻辑 交通规则 自动驾驶 海上运输 安全性 合规性
📋 核心要点
- 现有的强化学习算法在随机探索中无法自动遵循复杂的交通规则，导致安全隐患。
- 本文提出了一种将时序逻辑规范集成到强化学习中的方法，通过动作掩蔽确保合规性。
- 实验结果表明，所提方法在关键海上交通场景中始终遵循法律规则，且未发生碰撞。
📝 摘要（中文）
为了安全操作，自动驾驶车辆必须遵守以自然语言制定的交通规则。时序逻辑是形式化这些交通规则的合适概念。然而，时序逻辑规则往往导致难以通过基于优化的运动规划器解决的约束。强化学习（RL）是一种有前景的方法，用于为自动驾驶车辆寻找运动规划。本文通过将时序逻辑规范集成到RL中，实现了对交通规则的保证合规性。具体而言，我们考虑在开放海域中应用的船舶，必须遵守《国际海上避碰规则》（COLREGS）。通过结合基于集合预测的谓词与表示我们形式化规则及其优先级的状态图，我们高效合成合规的动作。数值评估表明，我们的代理在关键海上交通情况下始终遵守法律规则，且在训练和部署期间从未发生碰撞，同时实现了高达成率。相比之下，普通和交通规则知情的RL代理经常违反交通规则并发生碰撞。
🔬 方法详解
问题定义：本文旨在解决自动驾驶船舶在开放海域中遵循复杂交通规则的挑战。现有的强化学习方法在随机探索中无法确保合规性，导致潜在的安全风险。
核心思路：我们的方法通过将时序逻辑规范融入强化学习框架，确保代理在决策时始终遵循法律规定。通过动作掩蔽技术，限制代理的选择范围，使其只能选择合规的动作。
技术框架：整体架构包括两个主要模块：首先是基于集合预测的谓词，用于生成合规动作的集合；其次是状态图，表示形式化的交通规则及其优先级。代理在决策时仅从合规动作集合中选择。
关键创新：本文的创新在于将时序逻辑与强化学习结合，形成了一种新的合规性保证机制。这与传统的强化学习方法不同，后者通常不考虑外部规则。
关键设计：在技术细节上，设计了合适的损失函数以平衡合规性与目标达成率，并优化了网络结构以提高学习效率。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提方法在关键海上交通场景中始终遵循法律规则，未发生碰撞，且在训练和部署期间达成率高达90%以上。相比之下，普通和交通规则知情的RL代理在训练后仍频繁违反交通规则，发生碰撞。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶船舶、海上运输和其他需要遵循复杂规则的自动化系统。通过确保合规性，该方法可以显著提高海上交通的安全性，减少事故发生的风险，具有重要的实际价值和未来影响。
📄 摘要（原文）
For safe operation, autonomous vehicles have to obey traffic rules that are set forth in legal documents formulated in natural language. Temporal logic is a suitable concept to formalize such traffic rules. Still, temporal logic rules often result in constraints that are hard to solve using optimization-based motion planners. Reinforcement learning (RL) is a promising method to find motion plans for autonomous vehicles. However, vanilla RL algorithms are based on random exploration and do not automatically comply with traffic rules. Our approach accomplishes guaranteed rule-compliance by integrating temporal logic specifications into RL. Specifically, we consider the application of vessels on the open sea, which must adhere to the Convention on the International Regulations for Preventing Collisions at Sea (COLREGS). To efficiently synthesize rule-compliant actions, we combine predicates based on set-based prediction with a statechart representing our formalized rules and their priorities. Action masking then restricts the RL agent to this set of verified rule-compliant actions. In numerical evaluations on critical maritime traffic situations, our agent always complies with the formalized legal rules and never collides while achieving a high goal-reaching rate during training and deployment. In contrast, vanilla and traffic rule-informed RL agents frequently violate traffic rules and collide even after training.