CRAX: Fast Safe Reinforcement Learning Benchmarking

📄 arXiv: 2606.20376v1 📥 PDF

作者: Tristan Tomilin, Mourad Boustani, Mickey Beurskens, Thiago D. Simão

分类: cs.LG, cs.AI

发布日期: 2026-06-18

💡 一句话要点

提出CRAX以解决安全强化学习基准测试的计算效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 安全强化学习 基准测试 MuJoCo 硬件加速 课程学习 性能优化 3D物理模拟

📋 核心要点

  1. 现有的安全强化学习基准测试因高保真3D物理模拟而计算缓慢，限制了实验规模和效率。
  2. CRAX通过结合MuJoCo XLA物理引擎和硬件加速，显著提升了基准测试的计算速度。
  3. 实验结果显示，课程学习和安全转移能够有效提升在复杂任务中的表现，揭示了性能与安全的权衡。

📝 摘要（中文）

安全性是将强化学习（RL）代理应用于机器人和自动驾驶等现实领域的核心问题。现有的安全基准测试由于高保真3D物理模拟计算缓慢，限制了大规模实验和快速原型开发。为此，本文提出了CRAX（基于JAX加速的受限RL），该方法基于MuJoCo XLA（MJX）物理引擎，利用向量化操作和硬件加速，实现了与现有CPU基准相比高达约100倍的速度提升。该基准包含六个环境套件和三个特定于代理的任务，涵盖三个难度级别。对六种流行的安全RL方法的评估表明，没有单一方法在所有任务中占据优势，并揭示了性能与安全之间的权衡。研究发现，跨难度级别的课程学习和安全转移可以提高在更困难设置下的性能。

🔬 方法详解

问题定义：现有的安全强化学习基准测试由于高保真3D物理模拟导致计算效率低下，限制了大规模实验和快速原型开发的可能性。

核心思路：CRAX通过利用MuJoCo XLA物理引擎的向量化操作和硬件加速，旨在显著提高安全RL基准测试的计算速度，从而支持更大规模的实验。

技术框架：CRAX的整体架构包括六个环境套件和三个特定于代理的任务，设计了三个难度级别，能够全面评估不同安全RL方法的性能。

关键创新：CRAX的最大创新在于其计算速度的提升，达到约100倍的加速，与传统的CPU基准相比，极大地提高了实验的可行性和效率。

关键设计：在设计中，CRAX采用了向量化操作和硬件加速技术，确保了在复杂环境下的高效计算，同时保持了物理模拟的真实性和准确性。通过课程学习和安全转移的策略，进一步优化了训练过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CRAX在与传统CPU基准的对比中，计算速度提升高达约100倍。同时，课程学习和安全转移策略的应用显著提高了在复杂任务中的表现，展示了性能与安全之间的有效权衡。

🎯 应用场景

CRAX的研究成果在机器人、自动驾驶等需要高安全性的强化学习应用中具有重要价值。通过提高基准测试的效率，研究者可以更快地进行算法开发和优化，从而加速安全RL技术的实际应用和推广。

📄 摘要（原文）

Safety is a core concern for deploying reinforcement learning (RL) agents in real-world domains such as robotics and autonomous driving. While benchmarks have been central to progress in RL, existing safety benchmarks with high-fidelity 3D physics remain computationally slow, limiting large-scale experimentation and rapid prototyping. To address this gap, we propose CRAX (Constrained RL Accelerated with JAX). Built on top of the MuJoCo XLA (MJX) physics engine with realistic 3D dynamics, CRAX leverages vectorized operations and hardware acceleration, yielding up to ~100x speedups over comparable CPU-based safety benchmarks. The benchmark features six environment suites and three agent-specific tasks, each spanning three difficulty levels. Evaluating six popular safe RL methods shows that no single approach dominates across all tasks, and reveals the trade-offs between performance and safety. We find that curriculum learning across difficulty levels and safety transfer can improve performance over direct training in harder settings.