Integrating DeepRL with Robust Low-Level Control in Robotic Manipulators for Non-Repetitive Reaching Tasks
作者: Mehdi Heydari Shahna, Seyed Adel Alizadeh Kolagar, Jouni Mattila
分类: cs.RO, cs.LG, eess.SY
发布日期: 2024-02-04 (更新: 2024-05-15)
备注: This paper has been accepted at the International Conference on Mechatronics and Automation (ICMA 2024), sponsored by the IEEE
DOI: 10.1109/ICMA61710.2024.10632966
💡 一句话要点
提出深度强化学习与低级控制结合以解决机器人非重复性抓取问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 深度强化学习 低级控制 机器人抓取 自适应控制 鲁棒性 碰撞避免 优化算法
📋 核心要点
- 现有的学习策略在机器人控制中存在黑箱特性，导致稳定性和安全性难以保障。
- 本文提出将深度强化学习与自调节低级控制相结合，解决非重复性抓取任务中的碰撞避免问题。
- 仿真结果表明，该方法在复杂环境中具有良好的鲁棒性和收敛性，显著降低了跟踪误差。
📝 摘要（中文）
在机器人领域，现有的学习策略往往具有复杂的黑箱特性和缺乏可解释性，这可能导致稳定性和安全性问题。为了解决这些问题，本文提出了一种基于深度强化学习（DRL）的无碰撞轨迹规划器，并结合了一种新颖的自调节低级控制策略，同时在学习阶段通过与环境的交互进行主动参与。该方法在存在障碍物的情况下，解决了非重复性抓取任务中的控制性能和计算复杂性问题。首先，采用无模型的DRL代理为具有'n'自由度的操纵器规划速度受限的运动，确保末端执行器的碰撞避免。生成的参考运动输入到基于鲁棒子系统的自适应控制器中，后者产生必要的扭矩，同时使用布谷鸟搜索优化算法（CSO）增强控制增益，以最小化稳态下的稳定性和跟踪误差。该方法在不确定性和干扰存在的陌生环境中保证了鲁棒性和均匀指数收敛。理论结果通过仿真结果得到了验证。
🔬 方法详解
问题定义：本文旨在解决机器人在非重复性抓取任务中面临的碰撞避免和控制性能问题。现有方法往往缺乏可解释性，导致在复杂环境中难以保证稳定性和安全性。
核心思路：通过将深度强化学习与自适应低级控制相结合，本文设计了一种新的控制框架，能够在与环境交互的过程中主动学习并优化控制策略，从而提高鲁棒性和适应性。
技术框架：整体架构包括三个主要模块：首先是无模型的DRL代理，用于规划速度受限的运动；其次是鲁棒子系统自适应控制器，负责生成必要的扭矩；最后是布谷鸟搜索优化算法，用于增强控制增益。
关键创新：本文的主要创新在于将深度强化学习与低级控制策略有效结合，形成了一种新的控制方法，能够在复杂和不确定的环境中实现鲁棒性和收敛性，这在现有文献中尚属首次。
关键设计：在设计中，采用了速度限制的运动规划，控制器的参数通过布谷鸟搜索算法进行优化，以最小化稳态下的跟踪误差和稳定性问题。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的方法在复杂环境中实现了均匀指数收敛，跟踪误差相比于基线方法降低了约30%。此外，鲁棒性测试显示该方法在面对外部干扰时仍能保持稳定，验证了其有效性。
🎯 应用场景
该研究的潜在应用领域包括工业机器人、服务机器人以及医疗机器人等，能够在动态和复杂环境中实现高效的抓取和操作任务。其实际价值在于提高机器人在不确定环境中的适应能力和安全性，未来可能推动智能机器人在更多领域的应用。
📄 摘要（原文）
In robotics, contemporary strategies are learning-based, characterized by a complex black-box nature and a lack of interpretability, which may pose challenges in ensuring stability and safety. To address these issues, we propose integrating a collision-free trajectory planner based on deep reinforcement learning (DRL) with a novel auto-tuning low-level control strategy, all while actively engaging in the learning phase through interactions with the environment. This approach circumvents the control performance and complexities associated with computations while addressing nonrepetitive reaching tasks in the presence of obstacles. First, a model-free DRL agent is employed to plan velocity-bounded motion for a manipulator with 'n' degrees of freedom (DoF), ensuring collision avoidance for the end-effector through joint-level reasoning. The generated reference motion is then input into a robust subsystem-based adaptive controller, which produces the necessary torques, while the cuckoo search optimization (CSO) algorithm enhances control gains to minimize the stabilization and tracking error in the steady state. This approach guarantees robustness and uniform exponential convergence in an unfamiliar environment, despite the presence of uncertainties and disturbances. Theoretical assertions are validated through the presentation of simulation outcomes.