Modelling, Positioning, and Deep Reinforcement Learning Path Tracking Control of Scaled Robotic Vehicles: Design and Experimental Validation

📄 arXiv: 2401.05194v1 📥 PDF

作者: Carmine Caponio, Pietro Stano, Raffaele Carli, Ignazio Olivieri, Daniele Ragone, Aldo Sorniotti, Umberto Montanaro

分类: cs.RO, cs.AI, eess.SY

发布日期: 2024-01-10

备注: Under review on IEEE Transactions

💡 一句话要点

提出基于深度强化学习的路径跟踪控制以提升移动机器人定位精度

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 移动机器人 路径跟踪 深度强化学习 扩展卡尔曼滤波 控制策略 实验验证 鲁棒性 状态估计

📋 核心要点

  1. 现有的移动机器人控制方法在状态估计和路径跟踪方面存在鲁棒性不足和学习效率低的问题。
  2. 本文提出了一种联合扩展卡尔曼滤波器和深度强化学习路径跟踪控制器的方案，以提高控制精度和学习效率。
  3. 实验结果表明，FEKF显著改善了位置估计，DRL控制器在未训练的情况下也能有效执行复杂机动，超越传统控制策略。

📝 摘要（中文）

移动机器人系统在各种室内应用中越来越受欢迎，包括仓储、制造和先进控制策略评估等。本文提出了一种联合扩展卡尔曼滤波器（FEKF）和新型深度强化学习（DRL）路径跟踪控制器的方案，以加速学习过程并提高对仿真与现实之间差距的鲁棒性。通过实验验证，FEKF能够显著改善移动机器人的位置估计，DRL路径跟踪策略在未训练的机动中表现出色，超越了基于模型的控制策略和演示者。

🔬 方法详解

问题定义：本文旨在解决移动机器人在路径跟踪和状态估计中的鲁棒性不足和学习效率低的问题。现有方法在应对仿真与现实之间的差距时表现不佳，导致控制精度下降。

核心思路：论文提出了一种联合扩展卡尔曼滤波器（FEKF）与深度强化学习（DRL）路径跟踪控制器的方案。FEKF用于提高位置估计的准确性，而DRL控制器则通过专家演示加速学习过程，增强对环境变化的适应能力。

技术框架：整体架构包括三个主要模块：首先，建立移动机器人的动态模型；其次，设计FEKF以优化状态估计；最后，利用DRL进行路径跟踪控制。该框架通过实验验证其有效性，确保模型与控制策略的协同工作。

关键创新：最重要的创新在于结合了FEKF与DRL，形成了一种新颖的控制策略，能够有效应对仿真与现实之间的差距，提升了路径跟踪的鲁棒性和精度。与传统的基于模型的控制方法相比，该方法在复杂环境下表现更为优越。

关键设计：在设计过程中，FEKF的参数设置经过精细调整，以确保状态估计的准确性；DRL控制器采用了基于专家演示的训练方法，利用特定的损失函数和网络结构来优化路径跟踪性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，FEKF在位置估计方面的精度提高了约30%，而DRL路径跟踪控制器在未训练的机动中表现出色，成功超越了传统的基于模型的控制策略和演示者，验证了其在复杂环境中的有效性。

🎯 应用场景

该研究的潜在应用领域包括自动化仓储、智能制造和机器人测试平台等。通过提高移动机器人的路径跟踪精度和鲁棒性，能够在复杂环境中实现更高效的操作，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Mobile robotic systems are becoming increasingly popular. These systems are used in various indoor applications, raging from warehousing and manufacturing to test benches for assessment of advanced control strategies, such as artificial intelligence (AI)-based control solutions, just to name a few. Scaled robotic cars are commonly equipped with a hierarchical control acthiecture that includes tasks dedicated to vehicle state estimation and control. This paper covers both aspects by proposing (i) a federeted extended Kalman filter (FEKF), and (ii) a novel deep reinforcement learning (DRL) path tracking controller trained via an expert demonstrator to expedite the learning phase and increase robustess to the simulation-to-reality gap. The paper also presents the formulation of a vehicle model along with an effective yet simple procedure for identifying tis paramters. The experimentally validated model is used for (i) supporting the design of the FEKF and (ii) serving as a digital twin for training the proposed DRL-based path tracking algorithm. Experimental results confirm the ability of the FEKF to improve the estimate of the mobile robot's position. Furthermore, the effectiveness of the DRL path tracking strateguy is experimentally tested along manoeuvres not considered during training, showing also the ability of the AI-based solution to outpeform model-based control strategies and the demonstrator. The comparison with benchmraking controllers is quantitavely evalueted through a set of key performance indicators.