A Combined Learning and Optimization Framework to Transfer Human Whole-body Loco-manipulation Skills to Mobile Manipulators
作者: Jianzhuang Zhao, Francesco Tassi, Yanlong Huang, Elena De Momi, Arash Ajoudani
分类: cs.RO
发布日期: 2024-02-21
备注: 8 pages, 6 figures
💡 一句话要点
提出结合学习与优化框架以转移人类全身运动操作技能
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 运动操作 移动操控器 人类技能转移 核化运动原语 分层二次规划 机器人学习 复杂任务执行
📋 核心要点
- 核心问题：现有方法在复杂环境中难以实现人类运动与操作技能的有效转移，导致机器人执行任务的灵活性不足。
- 方法要点：提出结合学习与优化的框架，通过人类演示数据学习运动操作技能，并将其映射到移动操控器上。
- 实验或效果：实验结果表明，该方法成功地将人类运动操作技能转移至移动操控器，且在不同几何条件下表现良好。
📝 摘要（中文）
人类在运动与操作之间平滑切换的能力是感知运动协调的显著特征。学习和复制这种人类策略可以推动更复杂机器人的发展，使其能够在现实环境中执行复杂的全身任务。为此，本文提出了一种结合学习与优化的框架，以将人类的运动操作软切换技能转移到移动操控器上。该方法通过视觉系统收集人类在运动集成操作任务中的演示数据，接着将手腕和骨盆的运动映射到移动操控器的末端执行器和移动基座。采用核化运动原语算法学习手腕和骨盆轨迹，并根据任务需求进行泛化。参考轨迹被发送至分层二次规划控制器，生成可行的最优关节级命令。通过执行运动集成的取放任务验证了该方法的有效性。
🔬 方法详解
问题定义：本文旨在解决如何有效地将人类在运动与操作之间的切换技能转移到移动操控器上。现有方法在复杂环境中难以实现这种技能的有效转移，导致机器人在执行任务时灵活性不足。
核心思路：论文提出的核心思路是通过结合学习与优化的方法，利用人类演示数据来学习运动操作技能，并将这些技能映射到移动操控器的控制系统中，以实现更自然的运动与操作切换。
技术框架：整体架构包括数据收集、运动映射、轨迹学习和控制四个主要模块。首先，通过视觉系统收集人类在运动集成操作任务中的演示数据；然后，将手腕和骨盆的运动映射到移动操控器的末端执行器和移动基座；接着，采用核化运动原语算法学习轨迹，并根据任务需求进行泛化；最后，使用分层二次规划控制器生成最优的关节级命令。
关键创新：该研究的关键创新在于提出了一种新的框架，能够有效地将人类的运动操作技能转移到移动操控器上，尤其是在不同几何条件下的适应性表现优于现有方法。
关键设计：在技术细节上，采用了核化运动原语算法来学习手腕和骨盆的轨迹，并设计了分层二次规划控制器以处理多任务优先级，确保末端执行器和移动基座的轨迹生成符合实际操作需求。
🖼️ 关键图片
📊 实验亮点
实验结果显示，移动操控器在执行运动集成的取放任务时，能够成功模仿人类的操作技能，且在不同设置下表现出良好的适应性。具体而言，机器人在非零速度下抓取瓶子的成功率显著提高，验证了所提方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、工业自动化和人机协作等场景。通过有效转移人类的运动操作技能，移动操控器能够在复杂环境中执行更为灵活和高效的任务，提升机器人在实际应用中的价值和影响力。
📄 摘要（原文）
Humans' ability to smoothly switch between locomotion and manipulation is a remarkable feature of sensorimotor coordination. Leaning and replication of such human-like strategies can lead to the development of more sophisticated robots capable of performing complex whole-body tasks in real-world environments. To this end, this paper proposes a combined learning and optimization framework for transferring human's loco-manipulation soft-switching skills to mobile manipulators. The methodology departs from data collection of human demonstrations for a locomotion-integrated manipulation task through a vision system. Next, the wrist and pelvis motions are mapped to mobile manipulators' End-Effector (EE) and mobile base. A kernelized movement primitive algorithm learns the wrist and pelvis trajectories and generalizes to new desired points according to task requirements. Next, the reference trajectories are sent to a hierarchical quadratic programming controller, where the EE and the mobile base reference trajectories are provided as the first and second priority tasks, generating the feasible and optimal joint level commands. A locomotion-integrated pick-and-place task is executed to validate the proposed approach. After a human demonstrates the task, a mobile manipulator executes the task with the same and new settings, grasping a bottle at non-zero velocity. The results showed that the proposed approach successfully transfers the human loco-manipulation skills to mobile manipulators, even with different geometry.