Multi-AGV Path Planning Method via Reinforcement Learning and Particle Filters

📄 arXiv: 2403.18236v4 📥 PDF

作者: Shao Shuo

分类: cs.RO

发布日期: 2024-03-27 (更新: 2024-05-23)

💡 一句话要点

提出PF-DDQN方法以解决多AGV路径规划问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多AGV 路径规划 强化学习 粒子滤波 双深度Q网络 优化算法 智能物流

📋 核心要点

  1. 现有基于强化学习的路径规划算法在环境不稳定和系统结构波动下，面临收敛速度慢和学习效率低的问题。
  2. 本文提出的PF-DDQN方法结合粒子滤波和强化学习，利用不精确的网络权重作为状态值，优化DDQN模型以提高效率。
  3. 仿真结果显示，PF-DDQN在路径规划优越性和训练时间上分别比传统DDQN算法提升了92.62%和76.88%。

📝 摘要（中文）

由于强化学习（RL）算法在环境不稳定性和系统结构显著波动下，神经网络的方差较大，导致路径规划的收敛速度慢和学习效率低。为此，本文提出了一种新颖的多AGV路径规划方法，称为粒子滤波-双深度Q网络（PF-DDQN），通过结合粒子滤波（PF）和RL算法来优化路径规划。该方法利用网络的不精确权重作为状态值，优化DDQN模型以提高优化效率。通过不同的数值仿真验证，结果表明该方法在路径规划优越性和训练时间指标上分别优于传统DDQN算法92.62%和76.88%。

🔬 方法详解

问题定义：本文旨在解决多AGV路径规划中强化学习算法因环境不稳定和系统波动导致的收敛速度慢和学习效率低的问题。

核心思路：提出的PF-DDQN方法通过结合粒子滤波和双深度Q网络，利用不精确的网络权重作为状态值，优化模型以提高路径规划的效率。

技术框架：该方法的整体架构包括三个主要模块：首先，利用粒子滤波处理不精确权重；其次，优化DDQN模型以获取最优权重；最后，通过数值仿真验证方法的有效性。

关键创新：最重要的创新在于将粒子滤波与强化学习相结合，利用不精确权重作为状态值，从而显著提高了路径规划的效率和准确性。

关键设计：在参数设置上，采用了适应性的学习率和损失函数设计，以确保模型在训练过程中的稳定性和收敛性，同时优化了网络结构以适应多AGV的复杂环境。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PF-DDQN方法在路径规划优越性上比传统DDQN算法提升了92.62%，在训练时间上提升了76.88%。这些结果表明，PF-DDQN在多AGV路径规划中具有显著的优势，能够有效提高学习效率和规划质量。

🎯 应用场景

该研究的潜在应用领域包括智能仓储、物流运输和自动化工厂等场景，能够有效提升多AGV系统的路径规划效率，降低运营成本。未来，该方法有望在更复杂的动态环境中得到应用，推动AGV技术的进一步发展。

📄 摘要（原文）

Thanks to its robust learning and search stabilities,the reinforcement learning (RL) algorithm has garnered increasingly significant attention and been exten-sively applied in Automated Guided Vehicle (AGV) path planning. However, RL-based planning algorithms have been discovered to suffer from the substantial variance of neural networks caused by environmental instability and significant fluctua-tions in system structure. These challenges manifest in slow convergence speed and low learning efficiency. To tackle this issue, this paper presents a novel multi-AGV path planning method named Particle Filters - Double Deep Q-Network (PF-DDQN)via leveraging Particle Filters (PF) and RL algorithm. Firstly, the proposed method leverages the imprecise weight values of the network as state values to formulate thestate space equation.Subsequently, the DDQN model is optimized to acquire the optimal true weight values through the iterative fusion process of neural networksand PF in order to enhance the optimization efficiency of the proposedmethod. Lastly, the performance of the proposed method is validated by different numerical simulations. The simulation results demonstrate that the proposed methoddominates the traditional DDQN algorithm in terms of path planning superiority andtraining time indicator by 92.62% and 76.88%, respectively. Therefore, the proposedmethod could be considered as a vital alternative in the field of multi-AGV path planning.