PDRVLA: A Vision-Language-Action Model with Physical Dynamics Representations

📄 arXiv: 2610.37381v1 📥 PDF

作者: Hanqing Wang, Zhaotian Cai, Ruichuan An, Bohan Zeng, Tao Zhang, Yilin Chen, Xu Jiang, Kaiquan Chen, Chongyang Wu, Haoran Li, Fan Yang, Mingan Lin, Wentao Zhang, Zenan Zhou, Youzheng Wu

分类: cs.RO, cs.CV, cs.LG

发布日期: 2026-10-27

💡 一句话要点

提出PDRVLA以解决视觉-语言-动作模型对物理动态理解不足的问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 物理动态 机器人控制 多模态学习 深度学习

📋 核心要点

  1. 现有的视觉-语言-动作模型在理解物理动态方面存在局限，导致生成的机器人动作不够精准。
  2. PDRVLA通过引入轻量级的物理动态模块，从视觉-语言特征中提取物理信息，以此条件化动作生成，避免了高延迟的问题。
  3. 在四个仿真基准测试中，PDRVLA的成功率显著提高，尤其在LIBERO上达到了99.3%的成功率，显示出其优越的性能。

📝 摘要（中文）

视觉-语言-动作（VLA）模型旨在根据视觉观察和语言指令生成机器人动作，但对物理动态的理解仍然有限。视频世界模型能够捕捉场景动态，但生成未来视频会引入高延迟。本文提出的PDRVLA通过轻量级的物理动态模块，从视觉-语言特征中提取物理标记，以无在线视频生成的方式条件化动作生成。该模块通过直接预测未来的RGB、深度和光流特征进行学习，并通过冻结的预训练视频世界模型进行辅助监督。训练完全依赖于公开数据，并通过人机合成、子任务注释和具身思维链（ECoT）注释进行扩展。在四个仿真基准上，PDRVLA在LIBERO上成功率为99.3%，在LIBERO-Plus上为89.9%，在RoboTwin 2.0上为93.6%，在SimplerEnv上为81.5%。消融实验表明，世界模型监督改善了未来预测，并评估了子任务条件、未来物体姿态监督和ECoT训练对动作成功的影响。

🔬 方法详解

问题定义：本文旨在解决现有视觉-语言-动作模型在物理动态理解方面的不足，尤其是在生成机器人动作时的高延迟问题。现有方法依赖视频生成，导致控制回路的延迟，影响实时性。

核心思路：PDRVLA的核心思路是通过轻量级的物理动态模块，从视觉-语言特征中提取物理标记，以此条件化动作生成。该方法避免了在线生成视频的需求，从而降低了延迟。

技术框架：PDRVLA的整体架构包括一个物理动态模块，该模块通过直接预测未来的RGB、深度和光流特征进行学习，并结合冻结的预训练视频世界模型进行辅助监督。训练过程中使用公开数据，并通过人机合成和注释进行扩展。

关键创新：PDRVLA的主要创新在于其物理动态模块的设计，能够在不依赖视频生成的情况下，直接从视觉-语言特征中提取物理信息。这一设计使得模型在处理动态场景时更加高效和准确。

关键设计：在模型设计中，采用了多种损失函数来优化未来特征的预测精度，并通过子任务条件和未来物体姿态监督来提升动作生成的成功率。网络结构经过精心设计，以确保高效的特征提取和动作生成。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PDRVLA在四个仿真基准上表现出色，其中在LIBERO上达到了99.3%的成功率，LIBERO-Plus为89.9%，RoboTwin 2.0为93.6%，SimplerEnv为81.5%。这些结果表明，PDRVLA在动作生成的准确性和效率上显著优于现有方法，尤其是在物理动态理解方面的提升。

🎯 应用场景

PDRVLA的研究成果在机器人控制、自动化系统和人机交互等领域具有广泛的应用潜力。通过提高机器人对物理动态的理解，能够实现更智能的行为生成，提升机器人在复杂环境中的适应能力和操作精度。未来，该模型还可以扩展到更多的多模态任务中，推动智能系统的发展。

📄 摘要（原文）

Vision--Language--Action (VLA) models generate robot actions from visual observations and language instructions, but their understanding of physical dynamics remains limited. Video world models can capture scene dynamics, yet generating future videos introduces high latency into the control loop. We introduce PDRVLA, whose lightweight Physical Dynamics Module extracts physical tokens from vision--language features to condition action generation without online video generation. The module learns through direct prediction of future RGB, depth, and optical-flow features, with auxiliary supervision through a frozen pretrained video world model. Training relies entirely on publicly available data, expanded through human-to-robot synthesis, subtask annotation, and embodied chain-of-thought (ECoT) annotation. Across four simulation benchmarks, PDRVLA achieves success rates of 99.3% on LIBERO, 89.9% on LIBERO-Plus, 93.6% on RoboTwin~2.0, and 81.5% on SimplerEnv. Ablations show improved future prediction with world-model supervision and evaluate how subtask conditioning, future object-pose supervision, and ECoT training affect action success.