Continue or Replan? Bernoulli-Continuation Policy Learning for Adaptive Horizon Execution

📄 arXiv: 2608.03483v1 📥 PDF

作者: Weichen Xu, Zhenhua Liu, Lin Luo, Yaobo Liang, Chengtang Yao, Qingyu Mei, Jian Cao, Xixin Cao, Xing Zhang, Jiaolong Yang, Baining Guo

分类: cs.RO, cs.AI, cs.CV, cs.LG

发布日期: 2026-08-04

备注: Project page: https://fleetfootwork.github.io/BCP/

💡 一句话要点

提出Bernoulli-Continuation策略以解决固定执行视角的局限性

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 自适应执行 强化学习 任务成功率 机器人操作 动态规划 多模态学习

📋 核心要点

  1. 现有的VLA模型在执行时采用固定的动作数量，导致在关键阶段无法及时重新规划，影响任务成功率。
  2. 本文提出的BCP框架通过将执行视角选择分解为继续或重新规划的决策，优化了任务执行的灵活性。
  3. 实验结果表明，BCP在多个任务上成功率提升显著，且在真实机器人上的表现也大幅提高。

📝 摘要（中文）

现有的基于块的视觉-语言-动作（VLA）模型在执行时采用固定的动作数量（即执行视角），使得重新规划变成与任务进展无关的周期性调度。这种方法在关键操作阶段未能及时重新规划时，可能导致使用过时的信息。为了解决这一问题，本文提出了Bernoulli-Continuation Policy（BCP），一个轻量级的自适应执行框架。BCP通过将执行视角选择分解为继续或重新规划的决策序列，优化了任务成功率和VLA的使用效率。在RoboTwin 2.0平台上，BCP在多个任务中显著提高了成功率，并在真实机器人上也取得了良好的效果。

🔬 方法详解

问题定义：现有的基于块的VLA模型在执行时采用固定的执行视角，导致在关键操作阶段未能及时重新规划，从而使用过时的信息，影响任务成功率。

核心思路：BCP通过将执行视角选择分解为一系列继续或重新规划的决策，利用序列决策的方式引入了有序的归纳偏置，从而提高了执行的灵活性和效率。

技术框架：BCP框架包括一个固定的基础VLA模型和一个执行视角选择的继续头。继续头通过强化学习训练，基于轨迹级结果进行优化。

关键创新：BCP的主要创新在于引入了Replanning-Efficiency Reward，联合奖励任务成功和VLA的有效使用，避免了策略过度依赖短视角的情况。

关键设计：在训练过程中，BCP采用了强化学习方法，设计了特定的损失函数以平衡任务成功率和执行效率，同时保持基础模型的冻结状态。该方法在不同的基线政策上均表现出良好的迁移能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在RoboTwin 2.0平台上，BCP在13个低成功率任务上平均成功率提高了11.08%，在所有50个任务上从89.88%提升至93.94%。在真实机器人上，BCP在两个操作任务中的成功率分别从74%提升至92%和从44%提升至84%。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化任务执行和智能助手等。通过提高任务执行的灵活性和成功率，BCP能够在复杂环境中更有效地完成多种任务，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Existing chunk-based Vision-Language-Action (VLA) models execute a fixed number of actions (i.e., execution horizon) before replanning, turning replanning into a task-agnostic periodic schedule that is independent of task progress. As a result, when no replanning boundary falls before a critical manipulation stage, it is executed from a stale chunk rather than a freshly replanned one. To address this limitation, we propose Bernoulli-Continuation Policy (BCP), a lightweight, plug-and-play framework for adaptive horizon execution that keeps the base VLA frozen. Given a fixed-length action chunk, its continuation head decomposes execution-horizon selection into a sequence of continue-or-replan decisions, which imposes an ordinal, prefix-sharing inductive bias over candidate horizons rather than treating them as independent classes. Since the optimal horizon for each chunk is not observable, we train this head with reinforcement learning from trajectory-level outcomes and introduce a Replanning-Efficiency Reward that jointly rewards task success and efficient VLA usage, discouraging the policy from collapsing to unnecessarily short horizons. On RoboTwin 2.0 with LingBot-VLA as the base policy, BCP improves the average success rate by +11.08% on 13 low-success tasks and from 89.88% to 93.94% (+4.06%) across all 50 tasks. Although trained only under the Clean setting, BCP generalizes to the Randomized setting, raising the average success rate by +4.06%. It also transfers to a different base policy $π_{0.5}$, achieving a better result on LIBERO (+1.7%) and, notably, on the harder LIBERO-PRO (+6.8%). On a real robot, BCP lifts success from 74% to 92% and from 44% to 84% on two manipulation tasks. Meanwhile, its negligible overhead, combined with higher success, makes BCP's overall runtime even lower than the fixed-horizon baselines.