Unified Learning of Temporal Task Structure and Action Timing for Bimanual Robot Manipulation
作者: Christian Dreher, Patrick Dormanns, Andre Meixner, Tamim Asfour
分类: cs.RO
发布日期: 2026-03-06
备注: This work has been submitted to the IEEE for possible publication
💡 一句话要点
提出一种统一学习框架，用于双臂机器人操作中时序任务结构和动作时序
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 双臂机器人 时序任务结构 动作时序 模仿学习 高斯混合模型
📋 核心要点
- 现有双臂机器人操作方法在高层任务规划和低层运动同步之间存在差距，未能有效结合符号时序关系和具体时序参数。
- 提出一种统一的学习框架，从人类演示中学习符号和亚符号时序任务约束，从而生成可执行的时序参数化计划。
- 实验结果表明，该方法生成的计划在时序上更接近人类演示，优于传统的基于最具代表性演示的基线方法。
📝 摘要（中文）
时序任务结构是双臂操作的基础：机器人不仅要知道一个动作先于或重叠于另一个动作，还要知道每个动作应该何时发生以及应该持续多久。虽然符号时序关系能够对任务结构和替代执行序列进行高级推理，但具体的时序参数对于在执行层协调双手同样至关重要。现有方法孤立地处理这两个层次，在高层任务规划和低层运动同步之间留下了差距。本文提出了一种从人类演示中学习符号和亚符号时序任务约束的方法，并推导出可执行的、时序参数化的双臂操作计划。我们的贡献包括：(i) 一个三维表示，用于表示两个动作之间的时间关系，并使用基于多元高斯混合模型的方法来表示亚符号层面的动作之间的时间关系；(ii) 一种基于 Davis-Putnam-Logemann-Loveland (DPLL) 算法的方法，该方法查找并排序所有无矛盾的 Allen 关系到动作对的分配，代表任务的不同模式；(iii) 一个基于优化的规划系统，该系统结合了已识别的符号和亚符号时序任务约束，以推导出用于机器人执行的时序参数化计划。我们在多个数据集上评估了我们的方法，结果表明，我们的方法生成的时序参数化计划比最具代表性的演示基线更接近人类演示。
🔬 方法详解
问题定义：现有双臂机器人操作方法通常将高层任务规划（符号时序关系）和低层运动同步（具体时序参数）孤立地处理，导致机器人难以生成自然流畅且高效的动作序列。缺乏一种统一的框架来学习和利用人类演示中的时序信息，是现有方法的痛点。
核心思路：本文的核心思路是从人类演示中同时学习符号时序关系（例如，动作A在动作B之前）和亚符号时序参数（例如，动作A和动作B之间的时间间隔）。通过将这两种信息结合起来，可以生成更接近人类演示的时序参数化计划，从而提高机器人的操作性能。
技术框架：该方法包含三个主要模块：1) 时序关系表示模块：使用三维表示来编码两个动作之间的时间关系，并利用多元高斯混合模型（GMM）来建模亚符号层面的时序关系。2) 符号关系推理模块：使用 Davis-Putnam-Logemann-Loveland (DPLL) 算法来寻找和排序所有无矛盾的 Allen 关系分配，从而表示任务的不同模式。3) 优化规划模块：结合已识别的符号和亚符号时序约束，使用优化方法生成用于机器人执行的时序参数化计划。
关键创新：该方法最重要的创新点在于统一学习符号和亚符号时序约束。与现有方法相比，该方法能够更全面地捕捉人类演示中的时序信息，从而生成更自然、更高效的机器人动作。此外，使用DPLL算法进行符号关系推理，可以有效地处理任务中的多种模式。
关键设计：在时序关系表示模块中，使用多元高斯混合模型（GMM）来建模亚符号层面的时序关系。GMM的参数（例如，均值、方差、混合系数）可以通过期望最大化（EM）算法从人类演示数据中学习得到。在优化规划模块中，目标函数可以设计为最小化机器人动作与人类演示之间的时序差异，约束条件可以包括符号时序关系和亚符号时序约束。
📊 实验亮点
实验结果表明，该方法生成的时序参数化计划比最具代表性的演示基线更接近人类演示。具体而言，该方法在多个数据集上进行了评估，结果表明，该方法能够有效地学习符号和亚符号时序约束，并生成高质量的机器人动作计划。量化指标显示，该方法在时序准确性和动作流畅性方面均优于基线方法。
🎯 应用场景
该研究成果可应用于各种双臂机器人操作任务，例如装配、抓取、操作工具等。通过学习人类演示中的时序信息，机器人可以更有效地完成复杂的操作任务，提高生产效率和安全性。此外，该方法还可以扩展到其他类型的机器人操作任务，例如人机协作、远程操作等，具有广阔的应用前景。
📄 摘要（原文）
Temporal task structure is fundamental for bimanual manipulation: a robot must not only know that one action precedes or overlaps another, but also when each action should occur and how long it should take. While symbolic temporal relations enable high-level reasoning about task structure and alternative execution sequences, concrete timing parameters are equally essential for coordinating two hands at the execution level. Existing approaches address these two levels in isolation, leaving a gap between high-level task planning and low-level movement synchronization. This work presents an approach for learning both symbolic and subsymbolic temporal task constraints from human demonstrations and deriving executable, temporally parametrized plans for bimanual manipulation. Our contributions are (i) a 3-dimensional representation of timings between two actions with methods based on multivariate Gaussian Mixture Models to represent temporal relationships between actions on a subsymbolic level, (ii) a method based on the Davis-Putnam-Logemann-Loveland (DPLL) algorithm that finds and ranks all contradiction-free assignments of Allen relations to action pairs, representing different modes of a task, and (iii) an optimization-based planning system that combines the identified symbolic and subsymbolic temporal task constraints to derive temporally parametrized plans for robot execution. We evaluate our approach on several datasets, demonstrating that our method generates temporally parametrized plans closer to human demonstrations than the most characteristic demonstration baseline.