Estimator-Coupled Reinforcement Learning for Robust Purely Tactile In-Hand Manipulation
作者: Lennart Röstel, Johannes Pitz, Leon Sievers, Berthold Bäuml
分类: cs.RO, cs.LG
发布日期: 2023-11-07
DOI: 10.1109/Humanoids57100.2023.10375194
💡 一句话要点
提出估计器耦合强化学习以解决机器人触觉操控问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 机器人操控 状态估计 触觉感知 耦合学习 模拟到现实转移 灵巧手
📋 核心要点
- 现有方法在机器人手中操控中，简单结合控制器和状态估计器导致性能不佳，尤其在触觉感知有限的情况下。
- 本文提出通过在训练期间将控制策略与状态估计器耦合，来提高状态估计的鲁棒性和任务性能。
- 实验结果表明，该方法在四种不同形状的物体上成功实现了24种方向的重定向，并在九个目标的连续重定向中超越了以往方法。
📝 摘要（中文）
本文识别并解决了在机器人手中操控中，简单结合基于学习的控制器和状态估计器所面临的问题。我们专注于纯触觉、目标导向的灵巧手中重定向任务。由于感知的局限性，许多在模拟中可行的控制策略在实际应用中无法进行准确的状态估计。因此，分别训练控制器和估计器并在测试时结合两者会导致性能不佳。我们通过在模拟训练期间将控制策略与状态估计器耦合来解决这一问题，从而提高了状态估计的鲁棒性和整体任务性能，同时保持了比端到端策略学习更好的可解释性。我们的GPU加速实现使得从零开始学习的中位训练时间仅为6.5小时。通过对DLR-Hand II进行的模拟实验，我们深入分析了该方法在四种不同物体形状上的表现，并成功实现了sim2real转移。
🔬 方法详解
问题定义：本文旨在解决在机器人手中操控中，简单结合基于学习的控制器和状态估计器所导致的性能低下问题。现有方法在感知有限的情况下，无法进行准确的状态估计，导致控制效果不理想。
核心思路：论文提出在模拟训练期间将控制策略与状态估计器耦合，确保两者在学习过程中相互影响，从而提高状态估计的准确性和控制性能。这样的设计使得控制器能够更好地适应实际操作中的不确定性。
技术框架：整体架构包括控制策略和状态估计器两个主要模块。在训练阶段，控制策略和状态估计器共同优化，通过耦合的方式提升状态估计的鲁棒性。训练完成后，系统在测试阶段使用耦合后的策略进行操作。
关键创新：最重要的技术创新在于将控制策略与状态估计器的耦合引入训练过程，这与传统的分开训练方法本质上不同。通过这种耦合，系统能够更好地处理不确定性，提高了整体性能。
关键设计：在训练过程中，采用特定的损失函数来平衡控制策略和状态估计器的优化目标。此外，网络结构设计上考虑了低成本GPU的加速实现，使得训练时间大幅缩短至6.5小时。
🖼️ 关键图片
📊 实验亮点
实验结果显示，该方法在四种不同物体形状上成功实现了24种方向的重定向，且在九个目标的连续重定向中取得了中位数表现，超越了以往方法的能力。这一成果展示了方法在复杂操控任务中的有效性。
🎯 应用场景
该研究具有广泛的应用潜力，尤其在需要高精度操控的机器人领域，如服务机器人、工业自动化和医疗机器人等。通过提高触觉操控的鲁棒性，未来可以实现更复杂的任务，推动机器人技术的进步。
📄 摘要（原文）
This paper identifies and addresses the problems with naively combining (reinforcement) learning-based controllers and state estimators for robotic in-hand manipulation. Specifically, we tackle the challenging task of purely tactile, goal-conditioned, dextrous in-hand reorientation with the hand pointing downwards. Due to the limited sensing available, many control strategies that are feasible in simulation when having full knowledge of the object's state do not allow for accurate state estimation. Hence, separately training the controller and the estimator and combining the two at test time leads to poor performance. We solve this problem by coupling the control policy to the state estimator already during training in simulation. This approach leads to more robust state estimation and overall higher performance on the task while maintaining an interpretability advantage over end-to-end policy learning. With our GPU-accelerated implementation, learning from scratch takes a median training time of only 6.5 hours on a single, low-cost GPU. In simulation experiments with the DLR-Hand II and for four significantly different object shapes, we provide an in-depth analysis of the performance of our approach. We demonstrate the successful sim2real transfer by rotating the four objects to all 24 orientations in the $π/2$ discretization of SO(3), which has never been achieved for such a diverse set of shapes. Finally, our method can reorient a cube consecutively to nine goals (median), which was beyond the reach of previous methods in this challenging setting.