Sandman: Building and Operating Sandboxes for Agentic Reinforcement Learning on Shared Kubernetes

📄 arXiv: 2610.39711v1 📥 PDF

作者: Yiming Yan, Hongyang Wang, Wenbo Chen, Xuan Wang, Jingguo Liu, Xian Li, Chen Qi, Leo Fan, Siwei Li, Qianli Wu, Yichuan Li, Ruochen Wen, Qian Qu, Zheshen Wang, Benoit Dumoulin

分类: cs.DC, cs.AI, cs.LG

发布日期: 2026-10-29

备注: 42 pages, 6 figures, 53 tables

💡 一句话要点

提出Sandman以解决共享Kubernetes环境下的强化学习沙箱管理问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 Kubernetes 沙箱管理 资源优化 自动化测试 代理工具

📋 核心要点

  1. 现有的agentic强化学习方法在共享集群中创建和管理沙箱环境时面临效率低下和资源浪费的问题。
  2. Sandman通过在Kubernetes上构建沙箱服务，优化了沙箱的创建、准备和清理过程，提升了资源利用率。
  3. 在实验中，Sandman成功管理了超过11,000个并发沙箱，并在短时间内创建了310万个沙箱，展示了其高效性。

📝 摘要（中文）

Agentic强化学习（RL）通常需要在特定任务环境中反复调用工具。训练任务可能会在与其他任务共享的集群中快速创建数千个环境。本文提出了Sandman，这是一个在亚马逊构建和运营的沙箱服务，用于代理工具的执行和评估。它支持多个生产级的agentic RL工作负载，并在共享Kubernetes上运行。训练框架提供任务镜像，并使用返回沙箱中的命令和文件操作。文件和进程在调用之间持续存在，直到框架释放环境。Sandman负责创建、准备和清理沙箱。每个沙箱都是一个Kubernetes pod，带有一个小守护进程，挂载到未修改的镜像中。在规模测试中，Sandman同时管理了11,858个小沙箱。四个生产级SWE-bench验证的训练活动在2026年10月创建了310万个沙箱。我们报告了处理创建高峰、准备任务环境、回收废弃沙箱和在受控条件下运行评估的设计权衡和操作经验。我们将开源Sandman的守护进程、提供者和池。

🔬 方法详解

问题定义：本文旨在解决在共享Kubernetes环境中，agentic强化学习任务沙箱的高效创建和管理问题。现有方法在处理大量沙箱时，往往面临资源竞争和管理复杂性等挑战。

核心思路：Sandman的核心思路是构建一个高效的沙箱服务，能够在共享集群中快速创建和管理多个沙箱环境，从而支持agentic RL的工具调用和评估。通过将沙箱设计为Kubernetes pod，Sandman能够利用Kubernetes的调度和管理能力。

技术框架：Sandman的整体架构包括沙箱创建模块、环境准备模块和清理模块。训练框架提供任务镜像，沙箱中的命令和文件操作由框架控制，确保文件和进程在调用之间的持久性。

关键创新：Sandman的主要创新在于其能够在高并发情况下管理大量沙箱，并通过小守护进程的设计，优化了资源的使用和管理效率。这一设计与传统的沙箱管理方法相比，显著降低了资源浪费。

关键设计：Sandman采用了Kubernetes pod作为沙箱的基础单元，守护进程负责管理沙箱的生命周期。关键参数设置包括沙箱的创建速率、资源限制和清理策略，确保在高负载下的稳定性和效率。

📊 实验亮点

在实验中，Sandman成功管理了11,858个并发沙箱，并在2026年10月创建了310万个沙箱，展示了其在高并发环境下的卓越性能。这一结果显著提高了沙箱管理的效率，相较于传统方法，资源利用率得到了显著提升。

🎯 应用场景

Sandman的研究成果在多个领域具有潜在应用价值，尤其是在需要高效管理大量虚拟环境的强化学习任务中。它可以广泛应用于机器人训练、自动化测试和复杂系统模拟等场景，提升资源利用率和任务执行效率。未来，Sandman的开源将促进更多研究者和开发者在agentic RL领域的探索与创新。

📄 摘要（原文）

Agentic reinforcement learning (RL) often requires repeated tool calls in task-specific environments. A training job may create thousands of these environments in bursts while sharing a cluster with other jobs. We present Sandman, a sandbox service built and operated at Amazon for agent tool execution and evaluation. It serves multiple production agentic RL workloads on shared Kubernetes. A training framework supplies a task image and uses commands and file operations in the returned sandbox. Files and processes persist across calls until the framework releases the environment. Sandman manages creation, readiness and cleanup. Each sandbox is a Kubernetes pod with a small daemon mounted into the unmodified image. In a scale test, Sandman held 11,858 concurrent tiny sandboxes. Four production SWE-bench Verified training campaigns created 3.1 million sandboxes in October 2026. We report the design trade-offs and operational lessons from handling creation bursts, preparing task environments, reclaiming abandoned sandboxes, and running evaluation under controlled conditions. We will open-source Sandman's daemon, provider and pool.