WISE: World-model-guided Imagination Scheduling for Efficient Post-training of Vision-Language-Action Models

📄 arXiv: 2609.03681v1 📥 PDF

作者: Chenhao Zhang, Hanyu Zhao, Hang Cheng, Tengfei Pan, Long Zeng

分类: cs.RO

发布日期: 2026-09-03

💡 一句话要点

提出WISE以解决视觉-语言-动作模型后训练效率问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 后训练 世界模型 想象调度 机器人操作 强化学习 多视角回放

📋 核心要点

  1. 现有的后训练方法依赖于昂贵的专家示范或不稳定的强化学习，导致效率低下和高成本。
  2. WISE框架通过调度世界模型的想象，选择性地在关键状态下进行多视角回放，从而提高策略优化的效率。
  3. 实验结果显示，WISE在多种操作任务中表现出显著的性能提升，并将计算时间减少了约80%。

📝 摘要（中文）

后训练的视觉-语言-动作（VLA）策略通常依赖于昂贵的专家示范进行监督微调，或通过强化学习进行高成本且可能不稳定的真实世界探索。世界模型提供了一种有前景的替代方案，通过想象未来来评估候选行为。然而，有效的后训练不仅需要准确的预测，还需在有用的地方调度想象，限制在可靠的范围内，并转化为可信的策略监督。我们提出了WISE（世界模型引导的想象调度框架），该框架协调在策略优化过程中何时以及如何使用世界模型想象。WISE在与交互相关的状态下选择性调用想象，执行有界的多视角回放，利用进展和完成信号评估候选未来，并利用相对结果来优化来自真实交互上下文的动作。大量实验表明，WISE在多种操作任务中一致提升性能，同时将GPU计算时间减少约80%。

🔬 方法详解

问题定义：本论文旨在解决后训练视觉-语言-动作模型时的效率问题，现有方法在使用专家示范和强化学习时面临高成本和不稳定性。

核心思路：论文提出的WISE框架通过调度世界模型的想象，选择性地在与交互相关的状态下进行想象，从而优化策略的训练过程。

技术框架：WISE框架包括几个主要模块：选择性想象调度、有限多视角回放、候选未来评估和基于真实交互的动作优化。

关键创新：WISE的核心创新在于其调度机制，能够在不同执行阶段动态调整想象的使用，避免了长时间回放带来的预测误差积累。

关键设计：在设计中，WISE使用了进展和完成信号来评估候选未来，并通过相对结果来优化策略，确保了学习信号的可靠性。具体的参数设置和损失函数设计在实验中进行了详细验证。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，WISE在多种操作任务中相较于基线模型实现了一致的性能提升，GPU计算时间减少约80%。在真实世界评估中，模型在不同分布变化下展现出显著的鲁棒性和泛化能力。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化控制和智能助手等。通过提高后训练的效率，WISE能够加速模型的部署和应用，提升机器人在复杂环境中的适应能力和智能水平，具有重要的实际价值和未来影响。

📄 摘要（原文）

Post-training VLA policies typically rely on supervised fine-tuning with costly expert demonstrations or reinforcement learning with expensive and potentially unstable real-world exploration. World models offer a promising alternative by evaluating candidate behaviors through imagined futures, yet effective post-training requires more than accurate prediction: imagination must be scheduled where it is useful, bounded within reliable horizons, and translated into trustworthy policy supervision. In robotic manipulation, the value of imagination varies substantially across execution stages, while extended rollouts can accumulate prediction errors and introduce unreliable learning signals. We introduce WISE (World-model-guided Imagination Scheduling for Efficient Post-training of Vision-Language-Action Models), a unified framework that coordinates when and how world-model imagination is used during policy refinement. WISE selectively invokes imagination at interaction-relevant states, performs bounded multi-view rollouts, evaluates candidate futures using progress and completion signals, and uses their relative outcomes to refine actions generated from real interaction contexts. Extensive experiments with both $π_0$ and $π_{0.5}$ demonstrate consistent improvements across diverse manipulation tasks while reducing GPU computation time by approximately 80% compared with full imagination. Real-world evaluations further show substantial gains in robustness and generalization under diverse real-world distribution shifts.