World Pilot: Steering Vision-Language-Action Models with World-Action Priors

📄 arXiv: 2606.12403v1 📥 PDF

作者: Zefu Lin, Rongxu Cui, Junjia Xu, Xiaojuan Jin, Wenling Li, Lue Fan, Zhaoxiang Zhang

分类: cs.RO

发布日期: 2026-06-10

备注: Project Website: https://world-pilot.github.io/

💡 一句话要点

提出World Pilot以解决VLA模型在动态操作中的局限性

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作模型 动态操作 世界-动作模型 决策增强 机器人操作 多模态学习 场景理解

📋 核心要点

  1. 现有的VLA模型在处理动态操作任务时，无法有效捕捉操作过程中的连续性和动态变化，导致性能受限。
  2. 本文提出的World Pilot框架通过引入世界-动作模型的先验信息，增强了VLA模型的决策能力，特别是在动态场景中的表现。
  3. 实验结果表明，World Pilot在LIBERO-Plus基准测试中达到了84.7%的成功率，超越了现有方法，并在多种操作任务中表现出显著的性能提升。

📝 摘要（中文）

Vision-Language-Action (VLA)模型通过大规模预训练继承了语义基础，能够在分布内的操作任务中表现良好。然而，这种基础是基于静态的图像-文本对，而操作是一个连续的、接触丰富的过程，其动态特性无法被这种预训练捕捉。本文提出了World Pilot，一个通过世界-动作模型（WAM）增强策略的VLA框架，采用两条互补路径将先验信息引入决策链。潜在引导条件在场景演变潜变量上调节感知层，而动作引导则为动作生成器提供预期轨迹。两者结合使VLA具备了对场景的预期视图和轨迹级运动提示。World Pilot在LIBERO-Plus零-shot OOD基准上达到了84.7%的最佳总成功率，并在四个操作任务的每个真实机器人设置中取得了最高成功率，尤其在视角、几何、可变状态和姿态的变化下表现出最大的优势。

🔬 方法详解

问题定义：本文旨在解决现有VLA模型在动态操作任务中的局限性，特别是其无法有效捕捉操作过程中的动态变化和连续性。

核心思路：World Pilot框架通过引入世界-动作模型（WAM）的先验信息，增强了VLA模型的决策能力，采用潜在引导和动作引导两条路径来优化感知和动作生成。

技术框架：该框架包括两个主要模块：潜在引导模块用于调节感知层，基于场景演变的潜变量；动作引导模块则为动作生成器提供预期的运动轨迹。这两个模块协同工作，提升了模型的整体性能。

关键创新：World Pilot的创新之处在于将世界-动作模型的先验信息融入VLA模型的决策过程中，使得模型在动态场景中能够更好地预测和适应变化，这与传统的静态图像-文本对预训练方法有本质区别。

关键设计：在设计中，潜在引导和动作引导的参数设置经过精心调整，以确保模型在不同操作任务中的适应性和鲁棒性。此外，损失函数的设计也考虑了动态场景的特性，以优化模型的学习过程。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

World Pilot在LIBERO-Plus零-shot OOD基准测试中达到了84.7%的成功率，超越了现有的最佳结果。此外，在四个真实机器人操作任务中，模型在视角、几何、可变状态和姿态变化下均表现出显著的性能提升，显示出其强大的适应能力。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动驾驶、智能家居等，能够显著提升系统在复杂动态环境中的决策能力和操作精度。未来，随着技术的进一步发展，World Pilot有望在更多实际场景中得到应用，推动智能系统的进步。

📄 摘要（原文）

Vision-Language-Action (VLA) models inherit semantic grounding from large-scale pretraining and perform competently across in-distribution manipulation tasks. This grounding, however, is built on static image-text pairs, whereas manipulation is a continuous, contact-rich process whose dynamics this pretraining cannot capture. We present World Pilot, a VLA framework that augments the policy with priors from a World-Action Model (WAM), routed into the decision chain through two complementary pathways. Latent Steering conditions the perception layer on a scene-evolution latent, and Action Steering supplies an anticipated trajectory as a motion prior to the action generator. Together the two priors equip the VLA with an anticipated view of the scene and a trajectory-level motion hint alongside its semantic conditioning, and the scene-evolution prior remains effective even when supplied by a video-pretrained world model that has not been action-post-trained. World Pilot attains a state-of-the-art Total success rate of 84.7% on the LIBERO-Plus zero-shot OOD benchmark and the highest success rate on every real-robot setting across four manipulation tasks, with the largest margins under shifts in viewpoint, geometry, deformable state, and pose. Project Website: https://world-pilot.github.io/