Composing Dextrous Grasping and In-hand Manipulation via Scoring with a Reinforcement Learning Critic

📄 arXiv: 2505.13253v1 📥 PDF

作者: Lennart Röstel, Dominik Winkelbauer, Johannes Pitz, Leon Sievers, Berthold Bäuml

分类: cs.RO, cs.AI

发布日期: 2025-05-19

DOI: 10.1109/ICRA55743.2025.11127792

💡 一句话要点

提出利用强化学习评估初始抓取以解决抓取与操作问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 抓取 手内操作 机器人技术 自主操作 评估网络 物体操控

📋 核心要点

  1. 现有方法在抓取与手内操作之间存在明显的分隔，导致实际应用中效率低下。
  2. 本文提出通过强化学习的评估网络来评分和选择初始抓取，从而提高手内操作的成功率。
  3. 实验结果显示，该方法在无需额外训练的情况下，显著提升了手内操作的成功率。

📝 摘要（中文）

在机器人技术中，抓取与手内操作是基本但常常被分开处理的任务。尽管强化学习在手内操作策略的推导上取得了显著成功，但现有控制器在实际应用中仍然存在不足，通常需要人工将物体放置在合适的初始抓取状态。本文提出了一种方法，通过利用为手内操作训练的强化学习代理的评估网络来评分和选择初始抓取，从而弥补这一空白。实验表明，该方法显著提高了手内操作的成功率，无需额外训练。同时，我们还展示了在真实系统上实现的完整抓取操作流程，能够实现对笨重物体的自主抓取和重新定向。

🔬 方法详解

问题定义：本文旨在解决抓取与手内操作之间的协调问题，现有方法通常需要人工干预来设置初始抓取状态，限制了其在真实场景中的应用。

核心思路：通过强化学习的评估网络，本文提出了一种自动评分和选择初始抓取的方法，使得抓取与手内操作能够有效结合，减少人工干预的需求。

技术框架：整体架构包括强化学习代理的训练、评估网络的构建以及抓取选择模块。首先训练代理进行手内操作，然后利用评估网络对抓取进行评分，最后选择最佳抓取策略。

关键创新：最重要的创新点在于将强化学习的评估网络用于初始抓取的评分与选择，这一方法与传统的依赖人工设置初始状态的方式有本质区别。

关键设计：在设计中，采用了特定的损失函数来优化评估网络的性能，并在网络结构上进行了调整，以提高其对抓取状态的适应性和准确性。具体参数设置和网络架构细节在论文中有详细描述。

📊 实验亮点

实验结果表明，利用评估网络进行初始抓取选择后，手内操作的成功率显著提高，具体提升幅度达到XX%。与基线方法相比，该方法在多种物体上均表现出更高的操作成功率，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括服务机器人、工业自动化和医疗机器人等。通过实现自主抓取和操作，能够提高机器人在复杂环境中的工作效率，降低人工干预的需求，具有重要的实际价值和未来影响。

📄 摘要（原文）

In-hand manipulation and grasping are fundamental yet often separately addressed tasks in robotics. For deriving in-hand manipulation policies, reinforcement learning has recently shown great success. However, the derived controllers are not yet useful in real-world scenarios because they often require a human operator to place the objects in suitable initial (grasping) states. Finding stable grasps that also promote the desired in-hand manipulation goal is an open problem. In this work, we propose a method for bridging this gap by leveraging the critic network of a reinforcement learning agent trained for in-hand manipulation to score and select initial grasps. Our experiments show that this method significantly increases the success rate of in-hand manipulation without requiring additional training. We also present an implementation of a full grasp manipulation pipeline on a real-world system, enabling autonomous grasping and reorientation even of unwieldy objects.