ELASTIC: Efficiently Learning to Adaptively Scale Test-Time Compute for Generative Control Policies
作者: Andrew Zou Li, Gokul Swamy, Yonatan Bisk, Andrea Bajcsy
分类: cs.RO
发布日期: 2026-06-30
💡 一句话要点
提出ELASTIC以解决生成控制策略的测试时间计算自适应分配问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 生成控制策略 测试时间计算 自适应调度 元马尔可夫决策过程 强化学习 机器人操作 计算效率
📋 核心要点
- 现有方法在测试时间计算的分配上面临挑战，难以根据不同状态和任务进行优化。
- ELASTIC算法通过元马尔可夫决策过程学习状态依赖的计算调度，动态选择顺序和并行计算。
- 在模拟和真实世界的实验中，ELASTIC在计算预算相同的情况下，显著提高了任务成功率并减少了延迟。
📝 摘要（中文）
生成控制策略（GCPs），如扩散策略和基于流的视觉-语言-动作模型，能够在机器人控制中实现测试时间的可扩展性。测试时间计算可以沿两个轴进行分配：顺序扩展和并行扩展。然而，顺序和并行计算的最佳分配难以事先确定，因为它依赖于状态、任务和策略。为此，本文提出ELASTIC算法，学习状态依赖的测试时间计算调度。我们将计算分配形式化为元马尔可夫决策过程，其中元策略与冻结的预训练机器人策略交互，在每次去噪迭代中选择顺序步骤和并行样本，以最大化任务成功率并最小化计算成本。通过强化学习，该元策略在没有访问GCP训练数据的情况下学习自适应计算调度。在模拟操作基准测试中，ELASTIC在匹配计算预算的情况下优于固定和单轴扩展基线。在真实世界的机器人操作中，ELASTIC在减少34%墙钟延迟的同时，匹配了最佳的成功率。
🔬 方法详解
问题定义：本文旨在解决生成控制策略在测试时间计算分配上的不足，现有方法无法根据具体状态和任务自适应调整计算资源，导致效率低下。
核心思路：ELASTIC算法通过学习状态依赖的计算调度，利用元马尔可夫决策过程动态选择顺序和并行计算步骤，以优化任务成功率和计算效率。
技术框架：整体架构包括一个元策略与预训练的机器人策略交互，元策略在每次去噪迭代中选择计算步骤，形成一个闭环反馈机制。
关键创新：ELASTIC的创新在于其元策略能够在没有训练数据的情况下，通过强化学习自适应调整计算调度，区别于传统的固定或单一轴扩展方法。
关键设计：算法设计中，元策略的损失函数考虑了任务成功率与计算成本的权衡，网络结构采用了强化学习框架，确保了计算调度的灵活性与高效性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，ELASTIC在模拟操作基准测试中超越了固定和单轴扩展基线，在相同计算预算下实现了更高的任务成功率。在真实世界的机器人操作中，ELASTIC不仅匹配了最佳的成功率，还将墙钟延迟减少了34%。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动化制造和智能家居等场景，能够显著提高机器人在复杂环境中的适应能力和操作效率。未来，ELASTIC的自适应计算调度方法可能会推动更多领域的智能系统发展，提升其决策能力和响应速度。
📄 摘要（原文）
Generative control policies (GCPs), such as diffusion policies and flow-based vision-language-action models, enable test-time scaling in robot control. Test-time compute can be allocated along two axes: sequential scaling, which increases denoising steps to refine actions, and parallel scaling, which samples multiple candidate actions to search across modes of the policy distribution. However, the optimal allocation of sequential and parallel compute is hard to know a priori as it is state-, task-, and policy-dependent. For example, early stages of a grasp may benefit from broader parallel exploration, while near-contact phases may require more sequential refinement for precision. We present ELASTIC, an algorithm that learns state-dependent test-time compute schedules for GCPs. We formulate compute allocation as a meta-Markov Decision Process in which a meta-policy interacts with a frozen pretrained robot policy and selects sequential steps and parallel samples at each denoising iteration to maximize task success while minimizing compute. Using reinforcement learning, this meta-policy also learns adaptive compute schedules without access to the GCP's training data. Across simulated manipulation benchmarks with diffusion policies, ELASTIC Pareto-dominates fixed and single-axis scaling baselines at matched compute budgets. On real-world robot manipulation with the $π_{0.5}$ vision-language-action model, ELASTIC matches best-of-$10$ success while reducing wall-clock latency by 34%.