Nav-Q: Quantum Deep Reinforcement Learning for Collision-Free Navigation of Self-Driving Cars

📄 arXiv: 2311.12875v2 📥 PDF

作者: Akash Sinha, Antonio Macaluso, Matthias Klusch

分类: quant-ph, cs.AI, cs.LG

发布日期: 2023-11-20 (更新: 2023-12-23)

备注: 28 pages, 12 figures, 4 tables

💡 一句话要点

提出Nav-Q以解决自驾车无碰撞导航问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 量子计算 深度强化学习 自驾车 无碰撞导航 混合算法 训练稳定性 探索能力

📋 核心要点

  1. 现有的深度强化学习方法在自驾车无碰撞导航中面临计算资源需求高和训练时间长的挑战。
  2. Nav-Q是首个量子支持的DRL算法，通过混合量子-经典算法提高训练性能，且不需要车载量子硬件。
  3. 实验结果表明，Nav-Q在训练稳定性和收敛速度上优于经典方法，并在有效维度上展现出更强的描述能力。

📝 摘要（中文）

自驾车的无碰撞导航（CFN）任务是一个NP难题，通常采用深度强化学习（DRL）方法来解决。尽管DRL方法有效，但其实现需要大量计算资源和较长的训练时间。本文提出Nav-Q，这是首个支持量子计算的DRL算法，旨在提高自驾车的训练性能，而无需车载量子硬件。Nav-Q基于演员-评论家方法，评论家使用适合近端量子设备的混合量子-经典算法实现。通过CARLA驾驶模拟器评估，Nav-Q在训练稳定性和收敛速度上超越了经典方法，并且在有效维度方面显示出更强的描述能力。最后，使用噪声量子模拟评估Nav-Q，发现量子噪声虽然降低了训练性能，但增强了代理的探索倾向。

🔬 方法详解

问题定义：本文旨在解决自驾车的无碰撞导航（CFN）问题，现有的深度强化学习方法在训练过程中需要大量计算资源和时间，难以实现高效的导航。

核心思路：Nav-Q通过引入量子计算来提升训练性能，采用演员-评论家架构，其中评论家部分使用混合量子-经典算法，以适应当前的量子设备。

技术框架：Nav-Q的整体架构包括两个主要模块：演员模块负责生成策略，评论家模块则评估策略的价值。评论家模块利用量子计算的优势来加速训练过程。

关键创新：Nav-Q的主要创新在于将量子计算与深度强化学习相结合，显著提高了训练的稳定性和收敛速度，这是与传统方法的本质区别。

关键设计：在设计中，采用了适合量子设备的混合算法，并在损失函数和网络结构上进行了优化，以确保在量子噪声环境下仍能保持良好的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Nav-Q在训练稳定性上优于经典DRL方法，收敛速度在某些情况下也有所提升。具体而言，Nav-Q在有效维度上表现出更强的描述能力，尽管在噪声量子模拟中训练性能受到影响，但代理的探索能力得到了增强。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶汽车、智能交通系统和机器人导航等。通过提高自驾车的导航效率和安全性，Nav-Q有望在未来的智能交通中发挥重要作用，推动自动驾驶技术的进一步发展。

📄 摘要（原文）

The task of collision-free navigation (CFN) of self-driving cars is an NP-hard problem usually tackled using Deep Reinforcement Learning (DRL). While DRL methods have proven to be effective, their implementation requires substantial computing resources and extended training periods to develop a robust agent. On the other hand, quantum reinforcement learning has recently demonstrated faster convergence and improved stability in simple, non-real-world environments. In this work, we propose Nav-Q, the first quantum-supported DRL algorithm for CFN of self-driving cars, that leverages quantum computation for improving the training performance without the requirement for onboard quantum hardware. Nav-Q is based on the actor-critic approach, where the critic is implemented using a hybrid quantum-classical algorithm suitable for near-term quantum devices. We assess the performance of Nav-Q using the CARLA driving simulator, a de facto standard benchmark for evaluating state-of-the-art DRL methods. Our empirical evaluations showcase that Nav-Q surpasses its classical counterpart in terms of training stability and, in certain instances, with respect to the convergence rate. Furthermore, we assess Nav-Q in relation to effective dimension, unveiling that the incorporation of a quantum component results in a model with greater descriptive power compared to classical baselines. Finally, we evaluate the performance of Nav-Q using noisy quantum simulation, observing that the quantum noise deteriorates the training performances but enhances the exploratory tendencies of the agent during training.