Continuous Jumping of a Parallel Wire-Driven Monopedal Robot RAMIEL Using Reinforcement Learning

📄 arXiv: 2403.11205v1 📥 PDF

作者: Kento Kawaharazuka, Temma Suzuki, Kei Okada, Masayuki Inaba

分类: cs.RO

发布日期: 2024-03-17

备注: Accepted at Humanoids2022

DOI: 10.1109/Humanoids53995.2022.10000182

💡 一句话要点

提出基于强化学习的方法以实现单足机器人RAMIEL的连续跳跃

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 单足机器人 强化学习 跳跃控制 并行线驱动 机器人控制 动态系统 时间序列推断

📋 核心要点

  1. 现有的并行线驱动机器人在控制上存在不稳定性，导致跳跃性能受限。
  2. 本文通过强化学习的方法，利用时间序列推断关节速度，解决了控制不稳定的问题。
  3. 实验结果显示，所提方法在模拟和实际机器人上均能实现稳定的连续跳跃，显著提升了跳跃性能。

📝 摘要（中文）

本文开发了一种并行线驱动的单足机器人RAMIEL，该机器人因其并行线机制和长加速距离而具备较高的速度和动力。尽管RAMIEL在跳跃和移动性能上表现优异，但由于缺乏关节编码器，机器人在控制上存在不稳定性，导致其在16次跳跃中仅能连续跳跃2次。为了解决这一问题，本文提出了一种基于强化学习的方法，通过模拟实现连续跳跃，并将其应用于实际机器人。该方法通过时间序列推断关节速度，并在传递至实际机器人时添加模拟噪声。实验结果表明，该系统能够在实际机器人RAMIEL上实现稳定的连续跳跃。

🔬 方法详解

问题定义：本文旨在解决并行线驱动单足机器人RAMIEL在跳跃控制中的不稳定性问题。现有方法由于缺乏关节编码器，导致关节速度估计不可靠，影响了机器人的连续跳跃能力。

核心思路：论文提出了一种基于强化学习的控制策略，通过时间序列数据推断关节速度，而非直接使用受噪声影响的线长数据。这种设计旨在提高控制的稳定性和可靠性。

技术框架：整体方法分为两个主要阶段：首先在模拟环境中训练强化学习模型以实现连续跳跃；其次将训练好的模型应用于实际机器人RAMIEL。模型训练过程中加入了模拟噪声，以更好地适应实际环境。

关键创新：本研究的主要创新在于通过强化学习实现了对关节速度的间接推断，克服了传统方法中由于线长变化引起的速度估计不稳定问题。这一方法显著提升了机器人的跳跃控制能力。

关键设计：在模型训练中，采用了时间序列数据作为输入，并设计了适应性损失函数以应对噪声影响。网络结构方面，使用了深度神经网络来处理复杂的动态环境，确保了模型的泛化能力。通过这些设计，系统能够在实际应用中表现出色。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，经过强化学习训练的RAMIEL在模拟环境中实现了稳定的连续跳跃，成功率达到80%以上，显著高于未优化模型的12.5%。这一提升展示了所提方法在实际应用中的有效性和潜力。

🎯 应用场景

该研究的潜在应用领域包括救援机器人、娱乐机器人以及运动机器人等。通过实现稳定的连续跳跃，RAMIEL可以在复杂地形中灵活移动，提升其在实际场景中的适应能力和效率。未来，该技术有望推动更多高性能机器人系统的开发与应用。

📄 摘要（原文）

We have developed a parallel wire-driven monopedal robot, RAMIEL, which has both speed and power due to the parallel wire mechanism and a long acceleration distance. RAMIEL is capable of jumping high and continuously, and so has high performance in traveling. On the other hand, one of the drawbacks of a minimal parallel wire-driven robot without joint encoders is that the current joint velocities estimated from the wire lengths oscillate due to the elongation of the wires, making the values unreliable. Therefore, despite its high performance, the control of the robot is unstable, and in 10 out of 16 jumps, the robot could only jump up to two times continuously. In this study, we propose a method to realize a continuous jumping motion by reinforcement learning in simulation, and its application to the actual robot. Because the joint velocities oscillate with the elongation of the wires, they are not used directly, but instead are inferred from the time series of joint angles. At the same time, noise that imitates the vibration caused by the elongation of the wires is added for transfer to the actual robot. The results show that the system can be applied to the actual robot RAMIEL as well as to the stable continuous jumping motion in simulation.