TGPO: Temporal Grounded Policy Optimization for Signal Temporal Logic Tasks
作者: Yue Meng, Fei Chen, Chuchu Fan
分类: cs.RO, cs.AI, cs.LG, cs.LO
发布日期: 2025-09-30
🔗 代码/项目: GITHUB
💡 一句话要点
TGPO：时序约束下的策略优化，解决机器人复杂时序逻辑任务
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 信号时序逻辑 分层策略 时间约束 机器人控制
📋 核心要点
- 传统强化学习方法难以解决具有非马尔可夫性和稀疏奖励的复杂信号时序逻辑（STL）任务。
- TGPO将STL任务分解为带时间约束的子目标，通过分层框架和时间条件策略学习实现高效求解。
- 实验结果表明，TGPO在多种机器人任务中显著优于现有方法，尤其在高维和长时程任务中。
📝 摘要（中文）
本文提出了一种名为时序约束下的策略优化（TGPO）算法，用于解决通用信号时序逻辑（STL）任务中的机器人控制策略学习问题。STL是一种强大的语言，可以表达复杂的、长时程的任务，但其非马尔可夫性和稀疏奖励特性使得标准强化学习（RL）算法难以应用。TGPO将STL任务分解为带时间约束的子目标和不变约束，并提供了一个分层框架来解决该问题。TGPO的高层组件为这些子目标提出具体的时序分配，而低层的时间条件策略学习使用密集的、阶段性的奖励信号来实现序列化的子目标。在推理过程中，我们采样各种时序分配，并选择最有希望的分配，让策略网络展开解决方案轨迹。为了促进复杂STL任务的高效策略学习，我们利用学习到的评论家网络，通过Metropolis-Hastings采样来指导高层时序搜索，将探索重点放在时间上可行的解决方案上。在五个环境中进行的实验表明，TGPO在各种STL任务下显著优于最先进的基线方法，尤其是在高维和长时程情况下，任务成功率平均提高了31.6%。
🔬 方法详解
问题定义：论文旨在解决机器人和自主系统中，如何学习满足复杂、长时程信号时序逻辑（STL）任务的控制策略问题。现有方法要么只能处理有限的STL片段，要么仅使用STL鲁棒性得分作为稀疏的终端奖励，导致学习效率低下，难以处理复杂任务。
核心思路：TGPO的核心思路是将复杂的STL任务分解为一系列带时间约束的子目标和不变约束。通过分层策略，高层负责规划子目标的时间分配，低层学习在给定时间约束下完成子目标的策略。这种分解和分层学习的方式，能够将稀疏奖励问题转化为密集的阶段性奖励，从而加速学习过程。
技术框架：TGPO包含两个主要组件：高层时序规划器和低层时间条件策略学习器。高层规划器使用Metropolis-Hastings采样方法，基于评论家网络的指导，搜索可行的子目标时间分配方案。低层策略学习器则是一个时间条件策略网络，它根据高层规划器给定的时间约束，学习如何达到相应的子目标。整体流程是：首先，高层规划器提出一个时间分配方案；然后，低层策略学习器根据该方案执行动作；最后，根据执行结果和STL规范，计算奖励并更新高层规划器和低层策略学习器。
关键创新：TGPO的关键创新在于将STL任务分解为带时间约束的子目标，并使用分层策略进行学习。这种分解方式将复杂的全局优化问题转化为一系列相对简单的局部优化问题，从而降低了学习难度。此外，利用评论家网络指导高层时序搜索，能够更有效地探索可行的时间分配方案。
关键设计：高层规划器使用Metropolis-Hastings采样，其接受概率基于评论家网络对当前时间分配方案的评估。低层策略学习器采用时间条件策略网络，其输入包括当前状态和剩余时间。奖励函数的设计至关重要，既要保证子目标的完成，又要满足STL规范的约束。具体参数设置（如采样步数、学习率等）需要根据具体任务进行调整。
📊 实验亮点
实验结果表明，TGPO在五个不同的环境中，包括低维导航、机械臂操作、无人机控制和四足机器人运动，均显著优于现有的基线方法。在高维和长时程任务中，TGPO的优势更加明显，任务成功率平均提高了31.6%。这些结果表明，TGPO是一种有效的解决复杂STL任务的强化学习方法。
🎯 应用场景
TGPO具有广泛的应用前景，例如自主导航、机器人操作、无人机控制和四足机器人运动等。它可以用于开发能够执行复杂任务的智能体，例如在仓库中按照特定顺序拣选物品、在复杂环境中进行自主巡逻、或者在灾难现场进行搜救等。TGPO的未来发展方向包括进一步提高学习效率、扩展到更复杂的STL规范、以及与其他感知和规划模块的集成。
📄 摘要（原文）
Learning control policies for complex, long-horizon tasks is a central challenge in robotics and autonomous systems. Signal Temporal Logic (STL) offers a powerful and expressive language for specifying such tasks, but its non-Markovian nature and inherent sparse reward make it difficult to be solved via standard Reinforcement Learning (RL) algorithms. Prior RL approaches focus only on limited STL fragments or use STL robustness scores as sparse terminal rewards. In this paper, we propose TGPO, Temporal Grounded Policy Optimization, to solve general STL tasks. TGPO decomposes STL into timed subgoals and invariant constraints and provides a hierarchical framework to tackle the problem. The high-level component of TGPO proposes concrete time allocations for these subgoals, and the low-level time-conditioned policy learns to achieve the sequenced subgoals using a dense, stage-wise reward signal. During inference, we sample various time allocations and select the most promising assignment for the policy network to rollout the solution trajectory. To foster efficient policy learning for complex STL with multiple subgoals, we leverage the learned critic to guide the high-level temporal search via Metropolis-Hastings sampling, focusing exploration on temporally feasible solutions. We conduct experiments on five environments, ranging from low-dimensional navigation to manipulation, drone, and quadrupedal locomotion. Under a wide range of STL tasks, TGPO significantly outperforms state-of-the-art baselines (especially for high-dimensional and long-horizon cases), with an average of 31.6% improvement in task success rate compared to the best baseline. The code will be available at https://github.com/mengyuest/TGPO