A Reinforcement Learning Based Controller to Minimize Forces on the Crutches of a Lower-Limb Exoskeleton

📄 arXiv: 2402.00135v1 📥 PDF

作者: Aydin Emre Utku, Suzan Ece Ada, Muhammet Hatipoglu, Mustafa Derman, Emre Ugur, Evren Samur

分类: cs.RO, cs.AI, eess.SY

发布日期: 2024-01-31

备注: 6 pages, 5 Figures

💡 一句话要点

提出基于强化学习的控制器以减少下肢外骨骼的支撑力

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 下肢外骨骼 强化学习 地面反作用力 运动控制 康复医学 人机交互 能量消耗

📋 核心要点

  1. 现有下肢外骨骼控制器设计忽视了用户上半身的能量消耗，导致效率低下。
  2. 本文提出了一种基于深度强化学习的控制器，旨在通过最小化支撑点的GRF来降低用户的上半身努力。
  3. 实验结果表明，使用该方法训练的策略能够实现35%的GRF减少，显著提升了行走效率。

📝 摘要（中文）

下肢动力外骨骼用户的代谢能量消耗主要来自上半身的努力，而现有文献在设计运动控制器时往往忽视这一点。本文利用深度强化学习开发了一种行走控制器，旨在最小化支撑点的地面反作用力（GRF），从而降低用户的上半身努力。我们设计了一个人-外骨骼系统的模型和学习框架，并制定了奖励函数以鼓励系统的前向位移，同时满足物理机器人的预设约束。通过在MuJoCo物理模拟器上使用先进的近端策略优化方法进行多次实验，我们证明了该学习模型能够根据关节角度、速度和脚部及支撑点的GRF生成关节扭矩，最终实现了相较于基线的35% GRF减少。

🔬 方法详解

问题定义：本文旨在解决下肢外骨骼用户在行走过程中上半身能量消耗过高的问题。现有方法往往忽视了用户的上半身努力，导致设计效率低下。

核心思路：我们提出了一种基于深度强化学习的控制器，通过最小化支撑点的地面反作用力（GRF）来降低用户的上半身努力，从而提高行走效率。

技术框架：整体架构包括人-外骨骼系统的模型设计、奖励函数的制定以及使用近端策略优化（PPO）算法进行训练。主要模块包括状态空间的定义、动作空间的设计和奖励机制的实现。

关键创新：最重要的创新点在于将用户的上半身努力纳入控制器设计中，通过强化学习优化GRF，显著提升了行走的舒适性和效率。与传统方法相比，本研究更关注用户的整体能量消耗。

关键设计：在技术细节上，我们设置了特定的奖励函数以鼓励前向位移，并在MuJoCo模拟器中进行了多次实验，调整了超参数和网络架构，以确保模型的有效性和稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用本文方法训练的策略能够实现35%的GRF减少，相较于基线显著提升了行走效率。这一成果表明，强化学习在优化人机交互中的有效性，为未来的外骨骼设计提供了新的思路。

🎯 应用场景

该研究具有广泛的应用潜力，尤其是在康复医学和助行设备领域。通过优化下肢外骨骼的控制策略，可以显著提高用户的行走效率，减轻上半身负担，进而改善患者的生活质量。未来，该技术可推广至其他类型的助行设备和机器人系统。

📄 摘要（原文）

Metabolic energy consumption of a powered lower-limb exoskeleton user mainly comes from the upper body effort since the lower body is considered to be passive. However, the upper body effort of the users is largely ignored in the literature when designing motion controllers. In this work, we use deep reinforcement learning to develop a locomotion controller that minimizes ground reaction forces (GRF) on crutches. The rationale for minimizing GRF is to reduce the upper body effort of the user. Accordingly, we design a model and a learning framework for a human-exoskeleton system with crutches. We formulate a reward function to encourage the forward displacement of a human-exoskeleton system while satisfying the predetermined constraints of a physical robot. We evaluate our new framework using Proximal Policy Optimization, a state-of-the-art deep reinforcement learning (RL) method, on the MuJoCo physics simulator with different hyperparameters and network architectures over multiple trials. We empirically show that our learning model can generate joint torques based on the joint angle, velocities, and the GRF on the feet and crutch tips. The resulting exoskeleton model can directly generate joint torques from states in line with the RL framework. Finally, we empirically show that policy trained using our method can generate a gait with a 35% reduction in GRF with respect to the baseline.