Contact Energy Based Hindsight Experience Prioritization
作者: Erdi Sayar, Zhenshan Bing, Carlo D'Eramo, Ozgur S. Oguz, Alois Knoll
分类: cs.RO, cs.AI
发布日期: 2023-12-05 (更新: 2024-02-23)
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出基于接触能量的后见经验优先级排序算法，提升稀疏奖励机器人操作任务的学习效率。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 机器人操作 强化学习 后见经验回放 优先级排序 接触力 稀疏奖励 机器人触觉 经验回放
📋 核心要点
- 稀疏奖励机器人操作任务中，强化学习算法难以有效收集成功经验，导致学习效率低下。
- CEBP方法利用机器人夹爪的触觉传感器和物体位移，优先选择接触丰富的经验进行学习。
- 实验表明，CEBP在多种机器人操作任务中表现优异，并在真实Franka机器人上成功完成抓取放置任务。
📝 摘要（中文）
针对稀疏奖励下的多目标机器人操作任务中强化学习算法因成功经验收集效率低下而面临的挑战，本文提出了一种新颖的接触能量优先级排序（CEBP）方法。该方法利用机器人夹爪中的触觉传感器和物体位移信息，基于丰富的接触信息选择回放缓冲区中的样本。我们的优先级排序方案倾向于选择接触丰富的经验，因为这些经验通常包含最大的信息量。我们在各种稀疏奖励机器人任务上评估了所提出的方法，并将其与最先进的方法进行了比较。结果表明，我们的方法在机器人操作任务上优于或与这些方法相当。最后，我们将训练好的策略部署到真实的Franka机器人上进行抓取放置任务，观察到机器人能够成功解决该任务。代码和视频已公开。
🔬 方法详解
问题定义：在稀疏奖励的机器人操作任务中，传统的强化学习算法难以有效地探索和学习。后见经验回放（HER）通过将失败轨迹的目标替换为实际达到的状态来提高学习效率，但HER均匀地选择失败轨迹，忽略了不同轨迹对学习的价值差异。因此，如何从大量的失败轨迹中选择最有价值的经验进行学习，是本文要解决的核心问题。
核心思路：本文的核心思路是利用机器人与环境交互过程中产生的接触信息，对经验进行优先级排序。接触通常意味着机器人与目标物体之间存在交互，这些交互包含了丰富的信息，更有可能引导机器人学习到有效的策略。通过优先选择接触丰富的经验进行学习，可以提高学习效率和性能。
技术框架：CEBP方法建立在HER的基础上，主要包含以下几个模块：1) 经验收集模块：机器人与环境交互，收集轨迹数据。2) 后见经验生成模块：使用HER生成后见经验。3) 接触能量计算模块：根据机器人夹爪的触觉传感器数据和物体位移信息，计算每个经验的接触能量。4) 优先级排序模块：根据接触能量对经验进行优先级排序，并将其存储到回放缓冲区中。5) 策略学习模块：从回放缓冲区中采样经验，训练强化学习策略。
关键创新：CEBP的关键创新在于利用接触信息进行经验优先级排序。与传统的均匀采样或基于TD误差的优先级排序方法不同，CEBP直接利用机器人与环境交互过程中产生的物理信息，更准确地评估经验的价值。这种方法能够有效地选择包含丰富信息的经验，从而提高学习效率。
关键设计：接触能量的计算是CEBP的关键。论文中，接触能量的计算可能涉及到触觉传感器读数的加权求和，以及物体位移的幅度。具体的权重和计算公式需要根据具体的机器人和任务进行调整。此外，优先级排序的具体策略（例如，使用比例优先级或排序优先级）也需要根据实验结果进行选择。
📊 实验亮点
实验结果表明，CEBP方法在多个稀疏奖励机器人操作任务中优于或与最先进的方法相当。例如，在抓取放置任务中，CEBP能够更快地学习到有效的策略，并且在真实Franka机器人上的部署也取得了成功，验证了该方法的有效性和泛化能力。具体的性能提升数据（例如成功率、学习速度等）需要在论文中查找。
🎯 应用场景
该研究成果可应用于各种需要高精度操作的机器人任务，例如工业自动化中的装配、医疗机器人中的手术辅助、以及家庭服务机器人中的物品整理等。通过提高机器人学习效率，降低开发成本，加速机器人在复杂环境中的应用。
📄 摘要（原文）
Multi-goal robot manipulation tasks with sparse rewards are difficult for reinforcement learning (RL) algorithms due to the inefficiency in collecting successful experiences. Recent algorithms such as Hindsight Experience Replay (HER) expedite learning by taking advantage of failed trajectories and replacing the desired goal with one of the achieved states so that any failed trajectory can be utilized as a contribution to learning. However, HER uniformly chooses failed trajectories, without taking into account which ones might be the most valuable for learning. In this paper, we address this problem and propose a novel approach Contact Energy Based Prioritization~(CEBP) to select the samples from the replay buffer based on rich information due to contact, leveraging the touch sensors in the gripper of the robot and object displacement. Our prioritization scheme favors sampling of contact-rich experiences, which are arguably the ones providing the largest amount of information. We evaluate our proposed approach on various sparse reward robotic tasks and compare them with the state-of-the-art methods. We show that our method surpasses or performs on par with those methods on robot manipulation tasks. Finally, we deploy the trained policy from our method to a real Franka robot for a pick-and-place task. We observe that the robot can solve the task successfully. The videos and code are publicly available at: https://erdiphd.github.io/HER_force