Hyperparameter and Neural Architecture Search via Evolutionary Optimization for Reinforcement Learning: HPNAS-RL

📄 arXiv: 2610.36882v1 📥 PDF

作者: Nihal Acharya Adde, Hanno Gottschalk

分类: cs.LG

发布日期: 2026-10-27

💡 一句话要点

提出双分支进化框架以优化强化学习中的神经架构与超参数

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 神经架构搜索 超参数优化 强化学习 自动驾驶 进化算法 多目标优化

📋 核心要点

  1. 现有方法在强化学习中缺乏有效的神经架构与超参数的联合优化，导致性能提升有限。
  2. 提出的双分支进化框架通过并行进化网络架构和超参数，采用统一的多目标搜索策略来解决这一问题。
  3. 实验结果显示，该框架在高保真模拟器中显著优于单独的NAS方法，获得更高的奖励和更好的稳定性。

📝 摘要（中文）

本研究提出了一种双分支进化框架，旨在同时进行神经架构搜索（NAS）和超参数优化（HPO），以应对自动驾驶任务中的强化学习（RL）挑战。尽管NAS在卷积神经网络（CNN）的架构设计自动化方面展现出强大潜力，但其在强化学习中的应用仍然有限，尤其是在需要联合优化架构和训练动态的场景中。基于我们之前的进化多目标NAS（EMNAS）工作，所提框架在统一的多目标搜索策略下并行进化离散网络架构和连续超参数。实验结果表明，该联合NAS-HPO框架在高保真驾驶模拟器中表现优异，政策获得更高的奖励、参数更少且稳定性更好。

🔬 方法详解

问题定义：本研究旨在解决强化学习中神经架构与超参数优化的联合问题。现有方法通常只能单独优化架构或超参数，导致性能提升受限，特别是在复杂任务如自动驾驶中。

核心思路：论文提出的双分支进化框架通过并行进化离散网络架构和连续超参数，利用统一的多目标搜索策略，旨在同时优化模型结构和训练动态，从而提升强化学习的效果。

技术框架：整体架构包括两个主要模块：神经架构搜索（NAS）模块，专注于卷积层的优化；超参数优化（HPO）模块，针对强化学习的关键超参数进行优化。通过并行评估和教师-学生策略转移机制加速收敛。

关键创新：最重要的技术创新在于将NAS与HPO的联合优化引入强化学习领域，突破了传统方法的局限，使得模型在复杂任务中表现更优。

关键设计：在设计中，采用了多目标进化算法，设置了适应度函数以平衡奖励、参数数量和稳定性等指标，同时引入了教师-学生策略转移机制以提升学习效率。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，联合NAS-HPO框架在高保真驾驶模拟器中表现优异，政策获得的平均奖励显著高于单独的NAS方法，且模型参数数量减少，稳定性提升，充分展示了该方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人控制和其他需要高效强化学习的复杂任务。通过优化神经架构和超参数，该框架能够设计出更为高效和稳定的强化学习代理，具有广泛的实际价值和未来影响。

📄 摘要（原文）

In this study, we propose a dual-branch evolutionary framework that simultaneously performs Neural Architecture Search (NAS) and Hyperparameter Optimization (HPO) for Reinforcement Learning (RL) in Autonomous Driving (AD) tasks. While NAS has shown strong potential in automating architecture design for Convolutional Neural Networks (CNNs), its application to RL remains limited, especially in scenarios that require joint optimization of architectural and training dynamics. Building on our prior work on Evolutionary Multi-Objective NAS (EMNAS), the proposed framework evolves discrete network architectures and continuous hyperparameters in parallel under a unified multi-objective search strategy. In this setup, NAS targets the convolutional layers of the RL policy network - responsible for visual feature extraction, while HPO focuses on optimizing critical RL hyperparameters. To accelerate convergence and improve generalization, we incorporate parallel evaluation and a teacher-student policy transfer mechanism. Experiments in a high-fidelity driving simulator show that the joint NAS-HPO framework consistently outperforms standalone NAS, yielding policies with higher rewards, fewer parameters, and improved stability. These results highlight the benefits of jointly optimizing model structure and training dynamics for scalable and effective RL agent design.