Hybrid-Diffusion Models: Combining Open-loop Routines with Visuomotor Diffusion Policies

📄 arXiv: 2512.04960v1 📥 PDF

作者: Jonne Van Haastregt, Bastian Orthmann, Michael C. Welle, Yuchong Zhang, Danica Kragic

分类: cs.RO

发布日期: 2025-12-04

💡 一句话要点

Hybrid-Diffusion模型：结合开放循环程序和视觉运动扩散策略，提升操作精度与速度

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 机器人操作 模仿学习 扩散模型 视觉运动策略 混合控制 开放循环程序 Teleoperation Augmentation Primitives

📋 核心要点

  1. 现有视觉运动策略在复杂操作中表现良好，但精度和速度通常不及传统控制方法。
  2. Hybrid-Diffusion模型结合开放循环程序和视觉运动扩散策略，学习在推理时触发Teleoperation Augmentation Primitives (TAPs)。
  3. 在小瓶抽吸、液体转移和容器拧开等真实任务中验证，证明了该方法的可行性。

📝 摘要（中文）

本文提出了一种名为Hybrid-Diffusion的模型，该模型结合了开放循环程序和基于视觉运动的扩散策略。尽管通过模仿学习获得的视觉运动策略在复杂操作任务中表现良好，但它们通常难以达到传统基于控制方法所具有的精度和速度。为此，我们开发了Teleoperation Augmentation Primitives (TAPs)，允许操作员在演示期间无缝地执行预定义的程序，例如锁定特定轴、移动到栖息航点或触发特定于任务的程序。我们的Hybrid-Diffusion方法学习在推理过程中触发这些TAPs。我们在具有挑战性的真实世界任务中验证了该方法：小瓶抽吸、开放容器液体转移和容器拧开。所有实验视频都可以在项目网站上找到：https://hybriddiffusion.github.io/

🔬 方法详解

问题定义：现有基于模仿学习的视觉运动策略在复杂操作任务中表现良好，但其精度和速度通常无法与传统的基于控制的方法相媲美。这限制了它们在需要高精度和高效率的实际应用中的应用。论文旨在解决如何结合模仿学习的灵活性和传统控制方法的精确性，从而提高操作任务的性能。

核心思路：论文的核心思路是将开放循环程序（open-loop routines）与视觉运动扩散策略相结合。通过引入Teleoperation Augmentation Primitives (TAPs)，允许操作员在演示过程中执行预定义的程序，例如锁定特定轴、移动到特定航点或触发特定于任务的程序。Hybrid-Diffusion模型学习在推理过程中何时以及如何触发这些TAPs，从而结合了模仿学习的泛化能力和预定义程序的精确性。

技术框架：Hybrid-Diffusion模型的技术框架包含以下几个主要组成部分：1) 视觉输入模块，用于处理来自摄像头的图像数据；2) 扩散策略模块，用于学习基于视觉输入的动作策略；3) TAPs模块，包含一系列预定义的开放循环程序；4) TAP触发模块，用于学习何时以及如何触发TAPs；5) 动作执行模块，用于执行由扩散策略或TAPs生成的动作。整体流程是：首先，视觉输入模块处理图像数据，然后扩散策略模块生成一个初始动作。TAP触发模块根据当前状态决定是否需要触发某个TAP。如果需要，则执行相应的TAP；否则，执行扩散策略生成的动作。

关键创新：论文的关键创新在于提出了Hybrid-Diffusion模型，该模型能够将开放循环程序与视觉运动扩散策略相结合。与传统的基于模仿学习的方法相比，Hybrid-Diffusion模型能够利用预定义的程序来提高操作的精度和速度。与传统的基于控制的方法相比，Hybrid-Diffusion模型具有更强的泛化能力，能够适应不同的任务和环境。

关键设计：Teleoperation Augmentation Primitives (TAPs) 的设计是关键。TAPs 是一系列预定义的开放循环程序，例如锁定特定轴、移动到特定航点或触发特定于任务的程序。TAP触发模块的设计也至关重要，它需要学习何时以及如何触发TAPs。具体的网络结构和损失函数等技术细节在论文中未详细描述，属于未知信息。

📊 实验亮点

论文在三个具有挑战性的真实世界任务中验证了Hybrid-Diffusion模型的有效性：小瓶抽吸、开放容器液体转移和容器拧开。实验结果表明，该模型能够有效地结合开放循环程序和视觉运动扩散策略，从而提高操作的精度和速度。具体的性能数据和提升幅度在摘要和论文中未明确给出，属于未知信息。

🎯 应用场景

该研究成果可广泛应用于机器人操作领域，例如自动化装配、医疗手术、物流分拣等。通过结合模仿学习的灵活性和传统控制方法的精确性，可以提高机器人在复杂环境中的操作性能，降低人工干预的需求，提升生产效率和安全性。未来，该方法有望应用于更广泛的机器人任务，例如家庭服务机器人、灾难救援机器人等。

📄 摘要（原文）

Despite the fact that visuomotor-based policies obtained via imitation learning demonstrate good performances in complex manipulation tasks, they usually struggle to achieve the same accuracy and speed as traditional control based methods. In this work, we introduce Hybrid-Diffusion models that combine open-loop routines with visuomotor diffusion policies. We develop Teleoperation Augmentation Primitives (TAPs) that allow the operator to perform predefined routines, such as locking specific axes, moving to perching waypoints, or triggering task-specific routines seamlessly during demonstrations. Our Hybrid-Diffusion method learns to trigger such TAPs during inference. We validate the method on challenging real-world tasks: Vial Aspiration, Open-Container Liquid Transfer, and container unscrewing. All experimental videos are available on the project's website: https://hybriddiffusion.github.io/