Trajectory Planning for Autonomous Vehicle Using Iterative Reward Prediction in Reinforcement Learning
作者: Hyunwoo Park
分类: cs.RO
发布日期: 2024-04-18 (更新: 2024-05-12)
备注: 8 pages, 6 figures
💡 一句话要点
提出基于迭代奖励预测的强化学习方法以解决自主车辆轨迹规划问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 自主驾驶 轨迹规划 强化学习 不确定性传播 奖励预测 深度学习 CARLA模拟器
📋 核心要点
- 现有的轨迹规划方法在处理复杂动作时存在局限性，且强化学习方法学习不稳定，未考虑不确定性。
- 本文提出了一种基于强化学习的轨迹规划方法，通过迭代预测未来状态的期望来增强学习的稳定性。
- 实验结果显示，该方法在CARLA模拟器中显著降低了碰撞率，并大幅提高了平均奖励，验证了其有效性。
📝 摘要（中文）
传统的自主车辆轨迹规划方法存在多种局限性，例如启发式和显式简单规则限制了其通用性，并妨碍了复杂动作的实现。为了解决这些问题，本文提出了一种基于强化学习的轨迹规划方法，该方法采用迭代奖励预测的方法，逐步预测未来状态的期望。这些预测状态用于预测奖励，并整合到学习过程中以增强稳定性。此外，论文还提出了一种利用不确定性传播的方法，使强化学习代理能够意识到不确定性。通过CARLA模拟器进行的评估表明，该方法相比基线方法将碰撞率降低了60.17%，并将平均奖励提高了30.82倍。
🔬 方法详解
问题定义：本文旨在解决传统轨迹规划方法在复杂场景下的局限性，尤其是强化学习在学习过程中不稳定且未考虑不确定性的问题。
核心思路：提出了一种迭代奖励预测的方法，通过不断预测未来状态的期望来增强学习过程的稳定性，并引入不确定性传播使代理能够识别不确定性。
技术框架：整体架构包括状态预测模块、奖励预测模块和不确定性传播模块。状态预测模块负责生成未来状态的期望，奖励预测模块基于这些状态计算奖励，不确定性传播模块则使代理能够理解环境的不确定性。
关键创新：最重要的创新在于引入了迭代奖励预测和不确定性传播的结合，使得强化学习代理在面对复杂环境时能够更有效地学习和适应。
关键设计：在参数设置上，采用了适应性学习率和动态奖励调整机制，损失函数设计考虑了预测误差和不确定性因素，网络结构则基于深度神经网络，增强了模型的表达能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，提出的方法在CARLA模拟器中相比基线方法将碰撞率降低了60.17%，同时平均奖励提高了30.82倍，显示出显著的性能提升，验证了方法的有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、智能交通系统以及机器人导航等。通过提高自主车辆在复杂环境中的轨迹规划能力，能够显著提升交通安全性和效率，具有重要的实际价值和未来影响。
📄 摘要（原文）
Traditional trajectory planning methods for autonomous vehicles have several limitations. For example, heuristic and explicit simple rules limit generalizability and hinder complex motions. These limitations can be addressed using reinforcement learning-based trajectory planning. However, reinforcement learning suffers from unstable learning, and existing reinforcement learning-based trajectory planning methods do not consider the uncertainties. Thus, this paper, proposes a reinforcement learning-based trajectory planning method for autonomous vehicles. The proposed method involves an iterative reward prediction approach that iteratively predicts expectations of future states. These predicted states are then used to forecast rewards and integrated into the learning process to enhance stability. Additionally, a method is proposed that utilizes uncertainty propagation to make the reinforcement learning agent aware of uncertainties. The proposed method was evaluated using the CARLA simulator. Compared to the baseline methods, the proposed method reduced the collision rate by 60.17 %, and increased the average reward by 30.82 times. A video of the proposed method is available at https://www.youtube.com/watch?v=PfDbaeLfcN4.