PRIME W0: Physical Priors from World Models for Embodied Manipulation

📄 arXiv: 2610.39528v1 📥 PDF

作者: Huabin Peng, Fagang Jin, Yancong Wei, Tengfei Ma, Chuhang Liu, Chao Yu, Liqing Chen

分类: cs.RO

发布日期: 2026-10-29

💡 一句话要点

提出PRIME W0以解决VLA模型在长时序上下文处理中的不足

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 层次化框架 动态感知 动作动态流匹配 机器人操作 智能决策

📋 核心要点

  1. 现有的VLA模型在处理长时序上下文时存在不足，无法有效利用历史信息进行决策。
  2. PRIME W0通过层次化条件流匹配框架，结合动态感知和动作动态流匹配，提升了模型的决策能力。
  3. 在LIBERO和真实机器人基准测试中，PRIME W0实现了最先进的性能，验证了其架构设计的有效性。

📝 摘要（中文）

视觉-语言-动作（VLA）模型在指令跟随方面表现出色，但大多数模型仍然是前馈式的，仅基于当前观察进行动作决策，忽略了长时序上下文和VLM表示的层次结构。本文提出了PRIME W0，一个层次化的条件流匹配框架，通过三个协同设计来弥补这一缺口：1）从预训练的VLM中注入每层KV到自适应MoE动作专家；2）通过异步世界模型子目标图像预测和DINOv2历史帧语义桥实现动态感知条件；3）采用尊重机器人运动耦合的协方差结构噪声的动作动态流匹配（ADM）。PRIME W0经过四个阶段的训练，分别是VLM预训练、DAT/NTP视觉运动预训练、DiT流匹配解码器组装与WM注入，以及端到端的SFT，最终在LIBERO和真实机器人基准测试中取得了最先进的结果，并通过系统的消融实验验证了每个架构组件的有效性。

🔬 方法详解

问题定义：本文旨在解决现有VLA模型在长时序上下文处理中的不足，特别是如何有效利用历史信息进行动作决策。现有方法往往仅基于当前观察，忽略了时间维度的连续性和层次结构。

核心思路：PRIME W0的核心思路是通过层次化的条件流匹配框架，结合动态感知和动作动态流匹配，来增强模型对历史信息的利用。通过这种设计，模型能够更好地理解和预测未来的动作。

技术框架：PRIME W0的整体架构包括四个主要阶段：1）VLM预训练；2）DAT/NTP视觉运动预训练；3）DiT流匹配解码器组装与世界模型（WM）注入；4）端到端的SFT。每个阶段都针对特定的任务进行优化，以提升整体性能。

关键创新：PRIME W0的关键创新在于引入了层次化的条件流匹配框架和动态感知机制，特别是通过协方差结构噪声的动作动态流匹配，尊重机器人运动耦合。这一设计显著提升了模型在复杂环境中的表现。

关键设计：在模型设计中，采用了自适应MoE动作专家结构，允许每层注入来自预训练VLM的KV信息。此外，动态感知条件的实现依赖于异步世界模型子目标图像预测和DINOv2历史帧语义桥的结合，确保了模型对动态环境的适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PRIME W0在LIBERO和真实机器人基准测试中取得了最先进的结果，具体性能提升幅度达到XX%（具体数据未知），并通过系统的消融实验验证了每个架构组件的有效性，展示了其在复杂任务中的优越性。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化制造和智能家居等场景。通过提升机器人在复杂环境中的决策能力，PRIME W0能够为实际应用提供更高的灵活性和效率，推动智能机器人技术的发展。

📄 摘要（原文）

Vision-Language-Action (VLA) models excel at instruction following, yet most remain feed-forward: they condition actions only on the current observation and discard both long-horizon temporal context and the hierarchical structure of VLM representations. We present PRIME W0, a hierarchical conditional flow-matching framework that closes this gap through three synergistic designs: (1)per-layer KV injection from a pretrained VLM into an Adaptive MoE action expert; (2)dynamics-aware conditioning via asynchronous world-model subgoal-image prediction and a DINOv2 historical-frame semantic bridge; and (3)Action Dynamic Manifold (ADM) flow matching with covariance-structured noise that respects robot kinematic coupling. PRIME W0 is trained in four stages---VLM pre-training, DAT/NTP visuomotor pre-training, DiT flow-matching decoder assembly with WM injection, and end-to-end SFT---and achieves state-of-the-art results on LIBERO and real-robot benchmarks, with systematic ablations validating each architectural component.