Open RL Benchmark: Comprehensive Tracked Experiments for Reinforcement Learning

📄 arXiv: 2402.03046v1 📥 PDF

作者: Shengyi Huang, Quentin Gallouédec, Florian Felten, Antonin Raffin, Rousslan Fernand Julien Dossa, Yanxiao Zhao, Ryan Sullivan, Viktor Makoviychuk, Denys Makoviichuk, Mohamad H. Danesh, Cyril Roumégous, Jiayi Weng, Chufan Chen, Md Masudur Rahman, João G. M. Araújo, Guorui Quan, Daniel Tan, Timo Klein, Rujikorn Charakorn, Mark Towers, Yann Berthelot, Kinal Mehta, Dipam Chakraborty, Arjun KG, Valentin Charraut, Chang Ye, Zichen Liu, Lucas N. Alegre, Alexander Nikulin, Xiao Hu, Tianlin Liu, Jongwook Choi, Brent Yi

分类: cs.LG

发布日期: 2024-02-05

备注: Under review

💡 一句话要点

提出Open RL Benchmark以解决强化学习实验复现难题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 实验复现 数据共享 社区驱动 基准测试 算法评估

📋 核心要点

  1. 现有强化学习研究中，实验复现困难且缺乏完整数据，导致研究效率低下。
  2. Open RL Benchmark通过提供全面跟踪的实验数据，解决了实验复现问题，支持社区贡献。
  3. 目前已跟踪超过25,000次实验，确保实验可复现性，提升了研究的可靠性和效率。

📝 摘要（中文）

在许多强化学习（RL）论文中，学习曲线是衡量算法有效性的有用指标。然而，完整的学习曲线原始数据通常不可用，导致实验的复现既耗时又容易出错。本文提出了Open RL Benchmark，这是一个全面跟踪的RL实验集，不仅包括常规数据（如每回合回报），还涵盖所有算法特定和系统指标。Open RL Benchmark是社区驱动的，任何人都可以下载、使用和贡献数据。目前已跟踪超过25,000次实验，累计时长超过8年，涵盖多种RL库和参考实现。该基准确保每个实验的可复现性，并提供命令行接口（CLI）以便于获取和生成结果图表。希望Open RL Benchmark能改善和促进该领域研究者的工作。

🔬 方法详解

问题定义：本文旨在解决强化学习实验中缺乏完整原始数据的问题，现有方法往往需要从头复现实验，既耗时又容易出错。

核心思路：Open RL Benchmark通过提供全面的实验数据和详细的实验参数，确保每个实验的可复现性，促进研究者之间的合作与数据共享。

技术框架：该基准包括多个模块，涵盖实验数据的收集、存储和共享，并提供命令行接口（CLI）以便于用户获取和生成结果图表。

关键创新：Open RL Benchmark是首个全面跟踪的强化学习实验基准，提供了丰富的算法特定和系统指标数据，显著提升了实验的可复现性。

关键设计：在设计上，提供了完整的实验参数和依赖版本信息，确保用户能够精确复现实验结果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Open RL Benchmark已跟踪超过25,000次实验，累计时长超过8年，涵盖多种强化学习库，确保实验的高可复现性。该基准的推出将显著提升研究者在强化学习领域的工作效率和研究质量。

🎯 应用场景

Open RL Benchmark的潜在应用领域包括学术研究、工业应用和教育培训等。它为研究者提供了一个可靠的实验平台，能够加速强化学习算法的开发与验证，推动该领域的进步与创新。

📄 摘要（原文）

In many Reinforcement Learning (RL) papers, learning curves are useful indicators to measure the effectiveness of RL algorithms. However, the complete raw data of the learning curves are rarely available. As a result, it is usually necessary to reproduce the experiments from scratch, which can be time-consuming and error-prone. We present Open RL Benchmark, a set of fully tracked RL experiments, including not only the usual data such as episodic return, but also all algorithm-specific and system metrics. Open RL Benchmark is community-driven: anyone can download, use, and contribute to the data. At the time of writing, more than 25,000 runs have been tracked, for a cumulative duration of more than 8 years. Open RL Benchmark covers a wide range of RL libraries and reference implementations. Special care is taken to ensure that each experiment is precisely reproducible by providing not only the full parameters, but also the versions of the dependencies used to generate it. In addition, Open RL Benchmark comes with a command-line interface (CLI) for easy fetching and generating figures to present the results. In this document, we include two case studies to demonstrate the usefulness of Open RL Benchmark in practice. To the best of our knowledge, Open RL Benchmark is the first RL benchmark of its kind, and the authors hope that it will improve and facilitate the work of researchers in the field.