Reward-Driven Automated Curriculum Learning for Interaction-Aware Self-Driving at Unsignalized Intersections

📄 arXiv: 2403.13674v2 📥 PDF

作者: Zengqi Peng, Xiao Zhou, Lei Zheng, Yubin Wang, Jun Ma

分类: cs.RO

发布日期: 2024-03-20 (更新: 2025-01-15)

备注: 8 pages, 6 figures, add grant information, minor textual polishing

💡 一句话要点

提出基于奖励驱动的自动化课程学习以解决无信号交叉口的自驾挑战

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自动驾驶 课程学习 强化学习 无信号交叉口 交通安全 智能交通 交互决策

📋 核心要点

  1. 现有自驾技术在无信号交叉口面临周围车辆意图和数量的不确定性，导致交互决策困难。
  2. 论文提出了一种自动化课程学习方法，通过逐步增加任务难度来提高智能体的学习效率和安全性。
  3. 实验结果显示，该方法在多种情境下表现出色，成功率高且对参数变化具有良好的适应性。

📝 摘要（中文）

本研究提出了一种基于奖励驱动的自动化课程强化学习方法，旨在解决无信号交叉口的自驾车辆与周围车辆之间的交互问题。该方法考虑了周围车辆的驾驶意图和数量的不确定性，通过设计逐渐增加周围车辆数量的课程集，自动选择课程并合理分配重要性权重，从而提高样本效率和训练效果。此外，精心设计的奖励函数引导智能体进行有效的策略探索。实验结果表明，该方法在$Highway ext{_}Env$中取得了最高的任务成功率，并在课程选择模块的初始化参数上表现出强大的鲁棒性。

🔬 方法详解

问题定义：本论文旨在解决无信号交叉口自驾车辆与周围车辆之间的交互不确定性问题。现有方法在处理周围车辆的驾驶意图和数量变化时，往往缺乏有效的学习策略，导致决策不准确和安全隐患。

核心思路：本研究提出的解决方案是基于奖励驱动的自动化课程学习，通过逐步增加周围车辆的数量和复杂性，帮助智能体更好地适应不同的交互场景，从而提高学习效率和安全性。

技术框架：整体架构包括课程集的设计、自动化课程选择机制和奖励函数的设计。课程集根据周围车辆数量的增加而逐步调整，自动化选择机制合理分配不同课程的重要性权重，奖励函数则引导智能体进行有效的策略探索。

关键创新：本研究的主要创新在于引入了自动化课程学习机制，能够根据环境的复杂性动态调整学习任务，与传统的静态学习方法相比，显著提高了智能体的适应能力和学习效率。

关键设计：在设计过程中，重要性权重的分配采用了基于经验的策略，损失函数则结合了任务成功率和学习稳定性，确保智能体在不同情境下均能有效学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的方法在$Highway ext{_}Env$中实现了最高的任务成功率，且在课程选择模块的初始化参数上表现出强大的鲁棒性，适应性强，能够有效应对多种情境配置。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶汽车、智能交通系统和城市交通管理等。通过提高自驾车辆在复杂交互场景下的决策能力，能够有效提升交通安全性和效率，具有重要的实际价值和社会影响。

📄 摘要（原文）

In this work, we present a reward-driven automated curriculum reinforcement learning approach for interaction-aware self-driving at unsignalized intersections, taking into account the uncertainties associated with surrounding vehicles (SVs). These uncertainties encompass the uncertainty of SVs' driving intention and also the quantity of SVs. To deal with this problem, the curriculum set is specifically designed to accommodate a progressively increasing number of SVs. By implementing an automated curriculum selection mechanism, the importance weights are rationally allocated across various curricula, thereby facilitating improved sample efficiency and training outcomes. Furthermore, the reward function is meticulously designed to guide the agent towards effective policy exploration. Thus the proposed framework could proactively address the above uncertainties at unsignalized intersections by employing the automated curriculum learning technique that progressively increases task difficulty, and this ensures safe self-driving through effective interaction with SVs. Comparative experiments are conducted in $Highway_Env$, and the results indicate that our approach achieves the highest task success rate, attains strong robustness to initialization parameters of the curriculum selection module, and exhibits superior adaptability to diverse situational configurations at unsignalized intersections. Furthermore, the effectiveness of the proposed method is validated using the high-fidelity CARLA simulator.