Safe and Optimal Learning from Preferences via Weighted Temporal Logic with Applications in Robotics and Formula 1

📄 arXiv: 2511.08502v1 📥 PDF

作者: Ruya Karagulle, Cristian-Ioan Vasile, Necmiye Ozay

分类: cs.RO, eess.SY

发布日期: 2025-11-11

备注: 8 pages, 2 figures

💡 一句话要点

提出基于加权时序逻辑的安全最优偏好学习方法，应用于机器人和F1赛车

🎯 匹配领域: 支柱三：空间感知 (Perception & SLAM)

关键词: 偏好学习 加权时序逻辑 安全控制 机器人导航 混合整数线性规划

📋 核心要点

  1. 现有方法在安全关键领域难以保证自主系统行为的安全性，这是核心问题。
  2. 利用加权信号时序逻辑（WSTL）进行偏好学习，并通过结构剪枝和对数变换降低问题复杂度。
  3. 在机器人导航和F1赛车数据上的实验验证了该方法能有效捕捉偏好并建模复杂任务目标。

📝 摘要（中文）

自主系统越来越多地依赖于人类反馈（如成对比较、排序或演示）来调整其行为。虽然现有方法可以适应行为，但它们通常无法在安全关键领域保证安全性。本文提出了一种安全保证、最优且高效的方法，利用加权信号时序逻辑（WSTL）解决从偏好、排序或演示中学习的问题。直接实现的WSTL学习问题会导致待学习权重中的多线性约束。通过引入结构剪枝和对数变换程序，我们减少了问题规模，并将问题重新表述为混合整数线性规划，同时保持安全保证。在机器人导航和真实F1赛车数据上的实验表明，该方法有效地捕捉了细微的偏好并建模了复杂的任务目标。

🔬 方法详解

问题定义：论文旨在解决自主系统如何安全有效地从人类偏好中学习的问题。现有方法，如强化学习或逆强化学习，虽然可以学习行为策略，但在安全关键领域难以提供形式化的安全保证。直接使用加权时序逻辑（WSTL）进行偏好学习会导致复杂的、难以求解的多线性约束问题，计算成本高昂。

核心思路：论文的核心思路是将安全约束编码为WSTL公式，并利用人类提供的偏好信息（如成对比较、排序等）来学习WSTL公式中的权重。通过学习合适的权重，系统可以生成既满足安全约束又符合人类偏好的行为。为了解决多线性约束问题，论文提出了结构剪枝和对数变换技术。

技术框架：该方法的技术框架主要包括以下几个步骤：1) 将任务的安全规范和目标表示为WSTL公式。2) 从人类专家处收集偏好数据，例如成对比较或排序。3) 利用结构剪枝技术减少WSTL公式的复杂度，降低计算负担。4) 对WSTL公式中的权重进行对数变换，将多线性约束转化为线性约束。5) 将学习问题转化为混合整数线性规划（MILP）问题，并使用现成的求解器进行求解。6) 将学习到的WSTL公式用于控制自主系统的行为。

关键创新：该方法最重要的创新点在于将WSTL与结构剪枝和对数变换相结合，有效地解决了从偏好中学习安全策略的问题。与现有方法相比，该方法能够提供形式化的安全保证，并且计算效率更高。通过将问题转化为MILP，可以利用成熟的优化技术进行求解。

关键设计：关键设计包括：1) WSTL公式的设计，需要准确表达任务的安全规范和目标。2) 结构剪枝策略，需要在保证WSTL公式表达能力的前提下，尽可能减少其复杂度。3) 对数变换的具体形式，需要确保变换后的问题仍然是线性可解的。4) MILP求解器的选择和参数设置，需要根据具体问题进行调整。

📊 实验亮点

实验结果表明，该方法在机器人导航和F1赛车数据上均取得了良好的效果。在机器人导航任务中，该方法能够学习到既安全又高效的导航策略。在F1赛车数据上，该方法能够捕捉到赛车手的驾驶偏好，并生成更优的赛车轨迹。与未进行结构剪枝的方法相比，该方法在计算效率上有了显著提升。

🎯 应用场景

该研究成果可应用于各种安全关键领域的自主系统，例如自动驾驶、机器人导航、航空航天等。通过学习人类专家的偏好，系统可以更好地适应复杂环境，提高任务完成效率，并确保安全性。在F1赛车领域，可以帮助优化赛车策略，提高比赛成绩。

📄 摘要（原文）

Autonomous systems increasingly rely on human feedback to align their behavior, expressed as pairwise comparisons, rankings, or demonstrations. While existing methods can adapt behaviors, they often fail to guarantee safety in safety-critical domains. We propose a safety-guaranteed, optimal, and efficient approach to solve the learning problem from preferences, rankings, or demonstrations using Weighted Signal Temporal Logic (WSTL). WSTL learning problems, when implemented naively, lead to multi-linear constraints in the weights to be learned. By introducing structural pruning and log-transform procedures, we reduce the problem size and recast the problem as a Mixed-Integer Linear Program while preserving safety guarantees. Experiments on robotic navigation and real-world Formula 1 data demonstrate that the method effectively captures nuanced preferences and models complex task objectives.