Aftab: A Comprehensive Benchmark of CNN Encoders and Advanced Value Functions in Parallelized Q-Networks

📄 arXiv: 2608.07335v1 📥 PDF

作者: Taha Shieenavaz, Shabnam Zareshahraki, Loris Nanni

分类: cs.LG, cs.AI

发布日期: 2026-08-07

🔗 代码/项目: GITHUB

💡 一句话要点

提出Aftab框架以优化并行化Q网络中的CNN编码器

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 并行化Q网络 卷积神经网络 深度强化学习 价值函数 样本效率 Hadamax编码 非平稳环境 模型泛化

📋 核心要点

  1. 现有的并行化Q网络方法在视觉编码器的表示能力和参数效率方面存在不足，尤其是在无缓冲的设置下。
  2. 本文提出了一种新的框架Aftab，通过系统评估多种CNN架构，优化样本效率并整合先进的Q学习技术。
  3. 在Atari-57基准测试中，Aftab框架的表现显著优于标准PQN，展示了其在非平稳环境中的鲁棒性和泛化能力。

📝 摘要（中文）

近年来，深度强化学习的进展越来越倾向于简化且高度并行化的范式。并行化Q网络（PQN）算法在不依赖计算开销大的重放缓冲区或目标网络的情况下，实现了稳定的离线学习。然而，在这些无缓冲设置下，视觉编码器的表示能力和参数效率仍未得到充分探索。本文系统性地研究了PQN的卷积神经网络架构设计空间，设计并严格评估了八种不同的CNN拓扑，优化样本效率并严格控制参数。此外，通过整合Hadamax编码范式和先进的Q学习扩展，研究了表示和价值估计增强的影响。实验结果表明，Aftab框架在Atari-57基准上实现了6.479的IQM人类标准化得分，相较于标准PQN基线提高了0.86的改进概率。

🔬 方法详解

问题定义：本文旨在解决在无重放缓冲区的并行化Q网络中，视觉编码器的表示能力和参数效率不足的问题。现有方法在这方面的探索较少，导致性能提升有限。

核心思路：论文通过系统地设计和评估八种不同的卷积神经网络（CNN）架构，优化样本效率，并结合Hadamax编码和多种Q学习扩展，来提升模型的表现。

技术框架：Aftab框架包括多个模块，首先是CNN编码器的设计，其次是价值函数的增强，最后是通过并行化的Q网络进行训练和评估。每个模块都经过严格的实验验证，以确保其有效性。

关键创新：Aftab框架的核心创新在于其对CNN架构的系统性探索和优化，结合了Hadamax编码和多种Q学习技术（如分布式、集成和对抗头），使得模型在无缓冲设置下仍能保持高效的学习能力。

关键设计：在设计中，论文严格控制了参数数量，采用了特定的损失函数和网络结构，以确保在样本效率和计算资源之间取得平衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Atari-57基准测试中，Aftab框架实现了6.479的IQM人类标准化得分，相较于标准PQN基线提高了0.86的改进概率。此外，在Procgen Hard基准测试中，Aftab的IQM标准化得分为0.418，超越了基线的0.382，展示了其在非平稳环境中的优越性能。

🎯 应用场景

该研究的潜在应用领域包括游戏智能体、机器人控制和其他需要高效决策的强化学习任务。通过优化并行化Q网络，Aftab框架能够在资源受限的环境中实现更高效的学习，具有重要的实际价值和广泛的未来影响。

📄 摘要（原文）

Recent advancements in deep reinforcement learning have increasingly favored simplified, highly parallelized paradigms. Notably, the Parallelized Q-Network (PQN) algorithm achieves stable off-policy learning without relying on computationally expensive replay buffers or target networks. However, the representational capacity and parameter efficiency of visual encoders operating in these buffer-free settings remain underexplored. In this work, we systematically investigate the architectural design space of Convolutional Neural Networks for PQN. We design and rigorously evaluate eight distinct CNN topologies, optimizing for sample efficiency under strict parameter constraints. Furthermore, we study the impact of representation and value estimation enhancements by integrating the Hadamax encoding paradigm and advanced Q-learning extensions, including distributional, ensemble, and dueling heads. Extensive experiments on the Atari-57 benchmark demonstrate that our proposed composite architecture, Aftab, achieves an Interquartile Mean (IQM) Human-Normalized Score of 6.479, establishing a 0.86 Probability of Improvement over the standard PQN baseline. Additionally, structural resilience evaluations on the highly non-stationary Procgen Hard benchmark confirm out-of-distribution generalization, with Aftab yielding an IQM Procgen Normalized Score of 0.418 compared to the baseline's 0.382. Ultimately, this work establishes an efficient, probabilistically superior structural reference for model-free reinforcement learning, all while preserving the simplicity and memory efficiency of unbuffered, parallelized optimization. The complete Aftab framework, including all model definitions, training configurations, and raw experimental logs, is open-sourced and available on our GitHub repository: https://github.com/tahashieenavaz/aftab