RESPRECT: Speeding-up Multi-fingered Grasping with Residual Reinforcement Learning
作者: Federico Ceola, Lorenzo Rosasco, Lorenzo Natale
分类: cs.RO
发布日期: 2024-01-26
备注: IEEE Robotics and Automation Letters
期刊: IEEE Robotics and Automation Letters 9(4), April 2024
💡 一句话要点
提出RESPECT方法以加速多指抓取任务的学习
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 深度强化学习 灵巧手 多指抓取 残差学习 机器人控制 iCub机器人 预训练策略
📋 核心要点
- 现有的深度强化学习方法在灵巧手抓取任务中面临高维性和训练效率低下的挑战。
- RESPECT方法通过在预训练策略的基础上学习残差策略，显著提高了抓取新物体的学习速度。
- 实验结果显示，RESPECT在iCub模拟环境中训练速度提升约5倍，且能有效应用于真实机器人。
📝 摘要（中文）
深度强化学习（DRL）在使用机器人抓手学习控制策略方面已被证明有效，但在灵巧手抓取任务中，尤其是在真实机器人平台上，由于问题的高维性，其实用性较低。本文聚焦于iCub人形机器人的人形手的多指抓取任务，提出了RESidual学习与PREtrained CriTics（RESPRECT）方法。该方法从在大量物体上预训练的策略出发，学习一个残差策略，以在训练新物体时所需的时间减少约5倍，而无需任何任务演示。我们在iCub模拟环境中进行了基准测试，结果表明RESPECT能够有效地在真实的iCub机器人上学习多指抓取策略。实验代码已以开源许可证发布。
🔬 方法详解
问题定义：本文旨在解决灵巧手抓取任务中的高维性和训练效率低下的问题。现有方法在真实机器人上训练时，通常需要大量时间和任务演示，限制了其应用。
核心思路：RESPECT方法的核心在于利用预训练的策略作为基础，通过学习残差策略来加速新物体的抓取学习。这种设计使得模型能够在已有知识的基础上进行快速适应。
技术框架：RESPECT的整体架构包括预训练阶段和残差学习阶段。首先，在一个大规模物体集上进行策略预训练，然后在此基础上进行残差学习，利用预训练策略的组件来加速训练过程。
关键创新：RESPECT是首个在DRL预训练策略上学习残差策略的方法，显著提高了训练效率，解决了传统方法在高维抓取任务中的不足。
关键设计：在设计中，RESPECT利用了预训练策略的网络结构和参数设置，采用特定的损失函数来优化残差学习过程，确保快速收敛。
🖼️ 关键图片
📊 实验亮点
实验结果表明，RESPECT方法在iCub模拟环境中训练新物体的速度提升约5倍，相较于从头开始训练的基线方法，展示了显著的效率优势。此外，该方法在真实iCub机器人上的有效性验证了其实际应用潜力。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、医疗机器人和工业自动化等领域，能够显著提升机器人在复杂环境中的抓取能力和适应性。未来，RESPECT方法有望推动灵巧手技术的广泛应用，提升机器人在实际任务中的表现。
📄 摘要（原文）
Deep Reinforcement Learning (DRL) has proven effective in learning control policies using robotic grippers, but much less practical for solving the problem of grasping with dexterous hands -- especially on real robotic platforms -- due to the high dimensionality of the problem. In this work, we focus on the multi-fingered grasping task with the anthropomorphic hand of the iCub humanoid. We propose the RESidual learning with PREtrained CriTics (RESPRECT) method that, starting from a policy pre-trained on a large set of objects, can learn a residual policy to grasp a novel object in a fraction ($\sim 5 \times$ faster) of the timesteps required to train a policy from scratch, without requiring any task demonstration. To our knowledge, this is the first Residual Reinforcement Learning (RRL) approach that learns a residual policy on top of another policy pre-trained with DRL. We exploit some components of the pre-trained policy during residual learning that further speed-up the training. We benchmark our results in the iCub simulated environment, and we show that RESPRECT can be effectively used to learn a multi-fingered grasping policy on the real iCub robot. The code to reproduce the experiments is released together with the paper with an open source license.