Temporal Logic Guidance for Action-Only Diffusion Policies with World Models
作者: Moritz Zoellner, Anastasios Manganaris, Rohan Paleja
分类: cs.RO
发布日期: 2026-06-22
备注: Accepted at the ICRA 2026 Workshop on Bridging the Gap between Robot Learning and Human-Robot Interaction. 3 pages, 2 figures, 1 table
💡 一句话要点
提出基于世界模型的引导方法以优化动作扩散策略
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 扩散策略 信号时序逻辑 世界模型 约束优化 机器人行为 人机交互 鲁棒性
📋 核心要点
- 现有的扩散策略在推理时缺乏选择行为模式的能力，限制了其在人机交互中的应用。
- 本文提出了一种基于世界模型的引导方法，通过可微评估STL鲁棒性来优化仅基于动作的扩散策略。
- 在Robomimic的运输任务中，该方法实现了100%的任务成功率，并将约束违反率显著降低。
📝 摘要（中文）
扩散策略能够实现多模态机器人行为，但在推理时选择行为模式的能力有限。以往的解决方案利用信号时序逻辑（STL）表达人的意图并为扩散策略推理提供指导，但这些方法只能引导同时生成未来动作和状态的扩散策略，增加了复杂性和运行时间。本文提出了一种新颖的仅基于动作的扩散策略引导方法，利用单独学习的世界模型实现STL鲁棒性的可微评估，并将其梯度注入扩散过程中，从而在不重新训练的情况下引导行为满足约束，改善约束遵循性，同时保持任务性能。在Robomimic的运输任务中，我们的方法在保持100%任务成功率的同时，将基线方法的约束违反率从80%以上降低至4%。我们还讨论了向更强鲁棒性和更复杂约束的扩展。
🔬 方法详解
问题定义：本文旨在解决现有扩散策略在推理时无法有效选择行为模式的问题。以往方法依赖于同时生成未来动作和状态，导致复杂性和运行时间的增加。
核心思路：提出了一种新颖的引导方法，利用单独学习的世界模型进行STL鲁棒性的可微评估，并将评估结果的梯度注入到扩散过程中，以此引导行为满足约束。
技术框架：整体架构包括一个学习的世界模型和一个扩散策略模块。世界模型用于评估STL的鲁棒性，而扩散策略模块则根据评估结果调整行为。
关键创新：最重要的创新在于将STL鲁棒性评估与扩散策略的优化过程分离，使得引导过程不再依赖于重新训练，从而提高了效率和灵活性。
关键设计：在设计中，采用了特定的损失函数来优化约束遵循性，并确保世界模型的输出能够有效地影响扩散策略的决策过程。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提方法在Robomimic的运输任务中实现了100%的任务成功率，同时将约束违反率从基线方法的80%以上降低至4%。这一显著提升展示了新方法在约束遵循性和任务性能上的优越性。
🎯 应用场景
该研究的潜在应用领域包括人机协作、自动化物流和智能机器人等场景。通过优化机器人行为的引导机制，可以提升机器人在复杂环境中的适应能力和任务执行效率，具有重要的实际价值和未来影响。
📄 摘要（原文）
Diffusion policies enable multimodal robot behavior but offer limited ability to choose among behavior modes at inference time, even though such control is desirable in human-robot settings. Prior solutions to this lack of control have utilized Signal Temporal Logic (STL) to express human intentions and provide corresponding guidance for diffusion policy inference. However, these approaches can only guide diffusion policies that jointly generate future actions and states, increasing both complexity and runtime. We propose a novel guidance method for action-only diffusion policies that uses a separate learned world model to enable differentiable evaluation of STL robustness, with its gradient then injected into the diffusion process. This steers behavior toward constraint satisfaction without retraining, improving constraint adherence while preserving task performance. On the Can Transport task from Robomimic, our method maintains 100% task success while reducing constraint violations from over 80% for baseline methods to 4%. We also discuss extensions toward improved robustness and more complex constraints.