Sample-efficient Transfer Reinforcement Learning via Adaptive Reward Shaping and Policy-Ratio Reweighting Strategy

📄 arXiv: 2606.26527v1 📥 PDF

作者: Wenjie Huang, Yang Li, Jingjia Teng, Mingwei Jin, Kai Song, Yougang Bian, Yongfu Li, Qisong Yang, Helai Huang

分类: cs.LG

发布日期: 2026-06-25

💡 一句话要点

提出安全转移强化学习框架以解决高速公路换道决策中的训练不稳定问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 转移学习 强化学习 安全决策 自动驾驶 高速公路换道 教师干预 奖励塑形 加权优化

📋 核心要点

  1. 现有的转移学习方法在源域与目标域之间存在分布变化，导致训练不稳定和性能下降。
  2. 本文提出了一种安全转移强化学习框架，采用自适应教师干预机制和教师指导的加权优化策略来提升训练安全性和效率。
  3. 实验结果显示，所提方法在安全性上提高了52.2%，学习效率提升了5.0%，验证了其在不同交通条件下的有效性和鲁棒性。

📝 摘要（中文）

转移学习通过重用源任务的知识来提高策略学习效率，为安全高效的自主高速公路换道决策提供了一种可行的范式。然而，现有方法常因源域与目标域之间的分布变化而导致转移不匹配，进而引发训练振荡和性能下降。此外，目标域适应依赖于探索性交互，这在安全关键的换道场景中难以保证训练安全。为了解决这些问题，本文提出了一种安全转移强化学习框架，设计了基于瞬时安全成本的自适应教师干预机制，以抑制风险探索并逐渐减弱干预强度，同时通过教师指导的安全转移模块和加权优化机制提升训练安全性和效率。实验结果表明，该方法在安全性和学习效率上均显著优于基线方法。

🔬 方法详解

问题定义：本文旨在解决自主高速公路换道决策中的训练不稳定性和安全性问题。现有方法在源域与目标域之间的分布变化导致转移不匹配，影响了训练效果和安全性。

核心思路：论文提出了一种安全转移强化学习框架，通过自适应教师干预机制来控制风险探索，并结合教师指导的奖励塑形和加权优化策略，以提高训练的安全性和效率。

技术框架：整体框架包括三个主要模块：自适应教师干预机制、教师指导的安全转移模块和加权优化机制。自适应教师干预机制通过瞬时安全成本来调节干预强度，教师指导模块则将教师策略的动作评估信息嵌入学生学习中。

关键创新：最重要的创新在于自适应教师干预机制和加权优化机制的结合，前者有效抑制了风险探索，后者通过调整样本权重来稳定转移性能。这与现有方法的直接转移策略形成了本质区别。

关键设计：在设计中，瞬时安全成本用于动态调整教师干预强度，奖励塑形则通过教师策略的反馈来增强学生的学习效果。此外，样本权重的调整基于似然比因子，以确保优化过程的稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提方法在不同交通密度下的安全性提升超过52.2%，学习效率提高5.0%。这些结果验证了该安全转移策略在各种交通条件下的有效性和鲁棒性，显著优于现有基线方法。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶汽车的决策系统，尤其是在高速公路换道等安全关键场景中。通过提高训练的安全性和效率，该方法能够为未来的自动驾驶技术提供更可靠的支持，推动智能交通系统的发展。

📄 摘要（原文）

Transfer learning improves policy learning efficiency by reusing knowledge from source tasks, providing a feasible paradigm for safe and efficient autonomous highway lane changing decision-making. Existing methods frequently encounter transfer mismatch induced by distribution shifts between source and target domains, leading to training oscillation and performance decline. Besides, target domain adaptation depends on exploratory interactions, which struggles to guarantee training safety in safety-critical lane changing cases. To tackle these limitations, this paper proposes a safe transfer reinforcement learning framework for autonomous highway lane changing. First, we design an adaptive teacher intervention mechanism based on instantaneous safety cost to restrain risky exploration and fade intervention strength progressively, with theoretical analysis on return bounds for mixed behavior policy. This intervention also produces dual-source samples for joint training. Second, a teacher-guided safe transfer module embeds action evaluation information of teacher policy into student learning via reward shaping to boost training safety and efficiency, with teacher guidance decaying as policy safety rises. Third, a teacher-guided weighted optimization mechanism adjusts sample weights in policy optimization using a likelihood ratio factor to stabilize transfer performance. Experiments under varied traffic densities and validations on real-world NGSIM dataset reveal that our method surpasses baseline approaches by over 52.2% in safety and 5.0% in learning efficiency. Results verify the efficacy and robustness of our safety-aware transfer strategy for autonomous highway lane changing under various traffic conditions.