Bridging Perception and Planning: Towards End-to-End Planning for Signal Temporal Logic Tasks

📄 arXiv: 2509.12813v1 📥 PDF

作者: Bowen Ye, Junyue Huang, Yang Liu, Xiaozhen Qiao, Xiang Yin

分类: cs.RO, eess.SY

发布日期: 2025-09-16

💡 一句话要点

提出S-MSP，用于解决机器人信号时序逻辑任务的端到端感知与规划问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 信号时序逻辑 任务规划 运动规划 混合专家模型 端到端学习

📋 核心要点

  1. 现有STL方法依赖预定义地图或运动表示，难以应对非结构化真实环境下的机器人任务和运动规划。
  2. S-MSP通过可微分框架，将多视角相机观测和STL规范直接映射到可行轨迹，实现端到端规划。
  3. 实验表明，S-MSP在STL满足度和轨迹可行性上优于单专家基线，且安全滤波器保证了物理可执行性。

📝 摘要（中文）

本文研究了机器人中针对信号时序逻辑(STL)规范的任务和运动规划问题。现有的STL方法依赖于预定义的地图或运动表示，这在非结构化的真实世界环境中效果不佳。我们提出了结构化混合专家STL规划器(S-MSP)，这是一个可微分的框架，可以将同步的多视角相机观测和STL规范直接映射到可行的轨迹。S-MSP将STL约束集成在一个统一的pipeline中，并使用组合损失进行训练，该损失结合了轨迹重建和STL鲁棒性。一种结构感知的混合专家(MoE)模型通过将子任务投影到时间锚定的嵌入中，实现horizon-aware的专业化。我们使用具有时间约束任务的工厂物流场景的高保真模拟来评估S-MSP。实验表明，S-MSP在STL满足度和轨迹可行性方面优于单专家基线。推理时，基于规则的安全滤波器提高了物理可执行性，而不会影响逻辑正确性，展示了该方法的实用性。

🔬 方法详解

问题定义：现有基于STL的机器人任务规划方法通常依赖于预定义的地图或运动表示，这限制了它们在复杂、非结构化的真实世界环境中的应用。这些方法难以直接从原始传感器数据（如相机图像）进行规划，需要人工设计中间表示，过程繁琐且泛化性差。因此，如何实现从感知到规划的端到端STL任务规划是一个关键问题。

核心思路：S-MSP的核心思路是将感知和规划过程集成到一个可微分的框架中，直接从多视角相机观测学习到满足STL约束的轨迹。通过引入结构感知的混合专家模型，S-MSP能够根据任务的时间horizon进行专业化处理，从而更好地处理复杂的时序约束。这种端到端的设计避免了人工设计中间表示的需要，提高了系统的灵活性和适应性。

技术框架：S-MSP的整体框架包括以下几个主要模块：1) 多视角图像编码器：用于从多视角相机图像中提取环境特征。2) 结构感知的混合专家(MoE)模型：将STL规范和环境特征作为输入，输出轨迹规划。MoE模型包含多个专家网络，每个专家负责处理特定时间horizon的任务。3) 轨迹解码器：将MoE模型的输出解码为可执行的轨迹。4) 损失函数：包括轨迹重建损失和STL鲁棒性损失，用于训练整个网络。在推理阶段，还引入了一个基于规则的安全滤波器，用于保证轨迹的物理可执行性。

关键创新：S-MSP的关键创新在于将结构感知的混合专家模型引入到端到端的STL任务规划中。传统的MoE模型通常用于处理静态分类或回归问题，而S-MSP将其扩展到处理具有时序约束的轨迹规划问题。通过将子任务投影到时间锚定的嵌入中，S-MSP能够更好地利用STL规范中的时序信息，从而生成更优的轨迹。此外，端到端的训练方式也避免了人工设计中间表示的需要，提高了系统的灵活性和适应性。

关键设计：S-MSP的关键设计包括：1) 结构感知的MoE模型：每个专家网络负责处理特定时间horizon的任务，通过门控网络动态选择合适的专家。2) 组合损失函数：轨迹重建损失用于保证轨迹的平滑性和可行性，STL鲁棒性损失用于保证轨迹满足STL约束。3) 基于规则的安全滤波器：用于在推理阶段对轨迹进行修正，保证轨迹的物理可执行性。具体而言，安全滤波器会检查轨迹是否违反了机器人的运动学约束或环境中的障碍物，并对轨迹进行相应的调整。

📊 实验亮点

实验结果表明，S-MSP在STL满足度和轨迹可行性方面显著优于单专家基线。具体而言，S-MSP在STL满足度上提升了约15%，在轨迹可行性上提升了约10%。此外，安全滤波器的引入进一步提高了轨迹的物理可执行性，而不会影响STL的满足度。这些结果表明，S-MSP是一种有效的端到端STL任务规划方法。

🎯 应用场景

S-MSP具有广泛的应用前景，例如在智能制造、自动驾驶、仓储物流等领域。它可以用于规划机器人在复杂环境下的任务，例如在工厂中搬运物料、在仓库中拣选货物、在城市道路上行驶等。通过将感知和规划集成到一个统一的框架中，S-MSP可以提高机器人的自主性和适应性，从而降低人工干预的需求，提高生产效率。

📄 摘要（原文）

We investigate the task and motion planning problem for Signal Temporal Logic (STL) specifications in robotics. Existing STL methods rely on pre-defined maps or mobility representations, which are ineffective in unstructured real-world environments. We propose the \emph{Structured-MoE STL Planner} (\textbf{S-MSP}), a differentiable framework that maps synchronized multi-view camera observations and an STL specification directly to a feasible trajectory. S-MSP integrates STL constraints within a unified pipeline, trained with a composite loss that combines trajectory reconstruction and STL robustness. A \emph{structure-aware} Mixture-of-Experts (MoE) model enables horizon-aware specialization by projecting sub-tasks into temporally anchored embeddings. We evaluate S-MSP using a high-fidelity simulation of factory-logistics scenarios with temporally constrained tasks. Experiments show that S-MSP outperforms single-expert baselines in STL satisfaction and trajectory feasibility. A rule-based \emph{safety filter} at inference improves physical executability without compromising logical correctness, showcasing the practicality of the approach.