CORAL: Curriculum-Optimized Reward Adaptation for LiDAR-Based Goal-Directed Urban Driving

📄 arXiv: 2608.14332v1 📥 PDF

作者: Anisa Saleem, Duksu Kim

分类: cs.RO, cs.LG

发布日期: 2026-08-14

备注: 13 pages, 6 figures

💡 一句话要点

提出CORAL以解决城市驾驶中的多目标导航问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 城市驾驶 多目标导航 课程学习 奖励机制 自动驾驶 CARLA PPO

📋 核心要点

  1. 现有方法在长时间目标导向导航中难以平衡多种行为，导致学习效率低下。
  2. CORAL通过五阶段课程和阶段感知奖励，逐步加长路线并调整奖励权重，以优化学习过程。
  3. 在CARLA环境中，CORAL在20个评估回合中成功到达目标，而基线方法的成功率仅为5%和10%。

📝 摘要（中文）

强化学习在自主城市驾驶中具有潜力，但长时间目标导向导航要求策略同时掌握多种竞争行为，如到达远方目标、跟踪路线、避开障碍、遵守信号等。本文提出了CORAL，结合了五阶段的课程和阶段感知奖励，逐步加长路线并收紧行为约束。该策略使用多流演员-评论家网络，在CARLA环境中通过近端策略优化（PPO）进行训练，成功在最长路线的评估中实现100%的目标达成率，而基线方法仅为5%和10%。

🔬 方法详解

问题定义：本文旨在解决长时间目标导向导航中，强化学习策略难以同时掌握多种行为的问题。现有方法缺乏有效的学习顺序，导致学习效率低下。

核心思路：CORAL通过设计五阶段课程和阶段感知奖励，逐步加长任务难度，并动态调整奖励权重，从而优化策略学习过程。

技术框架：整体架构包括五个阶段的课程设计，奖励机制的动态调整，以及多流演员-评论家网络的训练。每个阶段的任务难度和行为约束逐步增加。

关键创新：最重要的创新在于结合了课程学习和动态奖励机制，形成了一种新的训练策略。这种方法在任务难度加大时，能够有效引导学习过程。

关键设计：使用99维状态空间，结合极坐标LiDAR直方图、车辆遥测、路线几何和交通规则指示器进行训练。采用近端策略优化（PPO）进行策略训练，确保了高效的学习和良好的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CORAL在CARLA环境中表现出色，在最长路线的评估中实现了100%的目标达成率，而基线方法的成功率仅为5%和10%。此外，CORAL在未见过的七个城市中也表现良好，成功率达68%-98%。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶汽车、智能交通系统和城市规划等。通过优化导航策略，CORAL可以提高自动驾驶系统在复杂城市环境中的安全性和效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

Reinforcement learning is promising for autonomous urban driving, but long-horizon goal-directed navigation asks a policy to acquire several competing behaviors at once--reaching a distant goal, tracking a route, avoiding obstacles, obeying signals--and a fixed objective gives no order in which to learn them. This paper presents CORAL, which advances two schedules together: a five-stage curriculum that progressively lengthens routes and tightens behavioral constraints, and a stage-aware reward whose component weights shift emphasis from mission progress toward route following, safety, smoothness, and rule compliance as the task hardens. The policy is a multi-stream actor-critic network trained with Proximal Policy Optimization (PPO) in CARLA on a compact 99-dimensional state pairing a polar LiDAR histogram with vehicle telemetry, ego-frame route geometry, and traffic-rule indicators--no point-cloud encoder, no bird's-eye-view rasterization. Against two PPO baselines under an identical protocol, CORAL reaches the goal in all twenty evaluation episodes on the longest routes under the full set of behavioral constraints, where the baselines reach 5% and 10%; a factorial ablation shows that neither schedule alone matches their combination: removing either lowers both success and route completion, and disabling both drops success to 55%. Trained in one town, the policy transfers zero-shot to seven unseen towns, succeeding in 68-98% of episodes on routes of the same 100-150 m length, with mean lateral deviation below 0.35 m.