A Neuromorphic Reinforcement Learning Framework for Efficient Pathfinding in Robotic Mobile Fulfillment Systems

📄 arXiv: 2606.20031v1 📥 PDF

作者: Junzhe Xu, Zecui Zeng, Lusong Li, Yuetong Fang, Renjing Xu

分类: cs.RO, cs.AI

发布日期: 2026-06-18

💡 一句话要点

提出SDQN-RMFS框架以解决机器人移动履行系统的路径规划问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 路径规划 强化学习 神经形态计算 脉冲神经网络 知识蒸馏 机器人技术 能效优化

📋 核心要点

  1. 现有的路径规划方法在动态环境和实时性要求下表现不佳，导致计算复杂度高和决策延迟长。
  2. 提出的SDQN-RMFS框架通过将ANN策略转化为脉冲神经网络（SNN），实现了高效的路径规划。
  3. 实验结果显示，该框架在能耗上节省了11,281倍，延迟减少近一半，决策质量与原策略相当。

📝 摘要（中文）

动态环境变化、空间限制和严格的实时性要求使得机器人移动履行系统（RMFS）的路径规划成为一个挑战。传统的基于搜索和规则的方法通常面临高计算复杂度和长决策延迟的问题。尽管强化学习（RL）作为一种强有力的替代方案出现，但在资源受限的硬件上以极高的能效部署学习到的策略仍然是一个未解决的挑战。本文提出了SDQN-RMFS，一个端到端框架，通过将全精度人工神经网络（ANN）训练的策略高保真地部署到神经形态芯片上，实现了超低功耗的RMFS路径规划。实验表明，该框架在能耗上节省了高达11,281倍，并将延迟几乎减少了一半，同时保持与原始训练策略相当的决策质量。

🔬 方法详解

问题定义：本文旨在解决机器人移动履行系统（RMFS）中的路径规划问题，现有方法在动态环境和实时性要求下面临高计算复杂度和长决策延迟的挑战。

核心思路：提出的SDQN-RMFS框架通过将全精度的人工神经网络（ANN）训练的策略转化为脉冲神经网络（SNN），以实现高效的路径规划，并在资源受限的硬件上实现极高的能效。

技术框架：该框架包括几个主要模块：首先，通过允许碰撞的策略高效训练ANN，以密集化信息轨迹；然后，通过硬标签知识蒸馏将ANN转换为SNN，从而解决输出分布不匹配的问题。

关键创新：最重要的创新在于通过知识蒸馏技术有效地保持了ANN到SNN转换过程中的策略能力，同时显著降低了推理延迟，这与传统方法存在本质区别。

关键设计：在训练过程中，采用了允许碰撞的策略以增强信息密度，并通过硬标签知识蒸馏来优化SNN的输出分布，确保在转换过程中保持决策质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SDQN-RMFS框架在能耗方面实现了高达11,281倍的节省，延迟几乎减少了一半，相较于高性能GPU基线，决策质量保持一致，展示了物理神经形态推理在大规模RMFS操作中的可行性和可持续性。

🎯 应用场景

该研究的潜在应用领域包括自动化仓储、物流配送和智能制造等场景，能够显著提升机器人在复杂环境中的路径规划效率和能效，具有重要的实际价值和广泛的市场前景。

📄 摘要（原文）

Dynamic environmental changes, confined workspaces, and stringent real-time constraints make pathfinding in Robotic Mobile Fulfillment Systems (RMFS) a challenging problem for conventional search- and rule-based methods, which typically suffer from high computational complexity and long decision latency. While reinforcement learning (RL) has emerged as a powerful alternative, deploying learned policies with extreme energy efficiency on resource-constrained hardware remains an open challenge. We present SDQN-RMFS, an end-to-end framework that achieves high-fidelity deployment of an RL-trained policy from a full-precision artificial neural network (ANN) through to a neuromorphic chip. By computing only when triggered by sparse events, this framework unlocks ultra-low-power RMFS pathfinding. Our full-stack pipeline operates as follows: an ANN policy is first efficiently trained via a collision-allowing strategy to densify informative trajectories, and then converted into a spiking neural network (SNN) via a hard-label knowledge distillation approach. This effectively addresses the output distribution mismatch, preserving policy capability across the ANN-to-SNN pipeline while substantially reducing inference latency. Hardware experiments demonstrate up to 11,281$\times$ energy savings and a nearly two-fold reduction in latency compared to a high-performance GPU baseline, while maintaining decision quality on par with the original trained policy. These results establish physical neuromorphic inference as a practical and energy-sustainable pathway for large-scale RMFS operations.