The Rollout Infrastructure Tax in Coding-Agent Reinforcement Learning
作者: Daniel Thi Graviet, Lovre Pesut, Ivan Dagelic, Vedran Jukic, Ivan Burazin
分类: cs.LG, cs.DC
发布日期: 2026-07-05
💡 一句话要点
提出执行基础设施优化以提升编码代理强化学习效率
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 编码代理 强化学习 执行基础设施 性能优化 资源管理
📋 核心要点
- 现有编码代理强化学习方法忽视了执行基础设施的影响，导致效率未得到充分挖掘。
- 本文提出通过比较不同执行环境，优化基础设施开销，以提升强化学习的整体效率。
- 实验结果显示，冷启动延迟差异高达110倍，预计工时差异为1.8倍，显著提升了系统性能。
📝 摘要（中文）
编码代理强化学习将执行基础设施视为背景实现细节，忽视了其对交互软件回滚的影响。本文通过比较四种执行环境，揭示了基础设施开销的测量可以为强化学习后期训练带来实际效率提升。研究发现，在冷启动延迟上存在高达110倍的差异，以及在一百万条150步轨迹的预计工时上有1.8倍的差距。结果表明，未来的编码代理强化学习系统应将执行基础设施的优化纳入训练系统，而不仅仅是作为部署的附属部分。
🔬 方法详解
问题定义：本文旨在解决编码代理强化学习中执行基础设施未被充分利用的问题。现有方法将其视为背景细节，未能考虑其对效率的影响。
核心思路：论文提出通过比较四种不同的执行环境（单容器、托管沙箱、Kubernetes容器和云虚拟机），来优化基础设施开销，从而提升强化学习的效率。
技术框架：研究设计了一个比较框架，涵盖了不同执行环境的性能评估，主要模块包括环境设置、性能测量和数据分析。
关键创新：最重要的创新在于将执行基础设施的优化纳入强化学习训练过程，而非仅作为部署的附属部分，这一思路在现有研究中尚属首次。
关键设计：在实验中，设置了不同的冷启动策略和资源配置，使用了标准的性能指标来评估各个环境的效率，确保了结果的可比性和可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在冷启动延迟方面，四种执行环境之间存在高达110倍的差异。此外，在一百万条150步轨迹的预计工时上，存在1.8倍的差距。这些结果表明，优化执行基础设施可以显著提升编码代理强化学习的整体性能。
🎯 应用场景
该研究的潜在应用领域包括自动化软件开发、智能机器人和大规模在线服务等。通过优化执行基础设施，能够显著提升强化学习系统的效率，降低资源消耗，进而推动智能系统在实际应用中的广泛部署和应用。
📄 摘要（原文）
Coding-agent reinforcement learning treats execution infrastructure as a background implementation detail, despite relying on large numbers of interactive software rollouts. This is a missed opportunity: measuring infrastructure overhead can reveal practical efficiency gains for RL post-training, where small per-rollout savings compound at scale. We present a comparative study of four execution substrates: single containers, hosted sandboxes, Kubernetes-orchestrated containers, and cloud virtual machines. We find up to $110\times$ variation in cold-start latency and a $1.8\times$ spread in projected worker-hours for one million 150-step trajectories. Our results suggest that future coding-agent RL systems should optimize execution substrates as part of the training system itself, not merely as deployment plumbing.