PhiZero: A World Model Built Around Physical Language

📄 arXiv: 2607.28624v1 📥 PDF

作者: Shuyao Shang, Yuqi Wang, Ruopeng Gao, Xu Chen, Tieniu Tan, Lue Fan, Zhaoxiang Zhang

分类: cs.CV

发布日期: 2026-07-30

备注: Project page: https://phi-zero.github.io/

💡 一句话要点

提出PhiZero以解决物理世界建模中的隐式动态问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 物理语言 世界建模 自监督学习 推理-再渲染 动作条件模拟 零-shot学习 视频生成

📋 核心要点

  1. 现有物理世界模型在高维视觉空间中隐式预测未来动态，缺乏明确的推理机制。
  2. PhiZero通过学习物理语言，将世界演变转化为可解释的序列，采用推理-再渲染的方式进行建模。
  3. 实验结果表明，PhiZero在生成和理解基准测试中表现优异，能够实现物理一致的世界演变建模。

📝 摘要（中文）

我们介绍了PhiZero，这是一个围绕物理语言构建的物理世界模型，采用紧凑的离散表示来描述世界状态转变。现有的物理世界模型通常直接在像素空间中预测未来视频，导致潜在的世界动态在高维视觉预测中隐含。受到人类从视觉经验中抽象预测结构并用自然语言进行明确推理的能力启发，我们通过自监督学习从真实视频中学习物理语言，并利用其明确推理物理世界的演变。因此，PhiZero采用了“推理-再渲染”的范式：首先推断未来世界演变为物理语言序列，然后将推断的转变渲染为视频。大量实验验证了PhiZero在建模物理一致的世界演变方面的能力，并展示了其在现实和交互式世界建模、细粒度动作条件模拟和零-shot运动转移中的潜力。

🔬 方法详解

问题定义：本论文旨在解决现有物理世界模型在高维视觉空间中隐式预测未来动态的问题，缺乏明确的推理机制，导致模型的可解释性和准确性不足。

核心思路：PhiZero的核心思路是通过学习物理语言，将世界状态转变表示为离散的序列，从而实现对物理世界演变的明确推理。这种设计灵感来源于人类的认知能力，能够从视觉经验中提取结构并用语言表达。

技术框架：PhiZero的整体架构包括两个主要阶段：首先，模型通过自监督学习从视频中提取物理语言；其次，基于推断的物理语言序列，模型生成对应的未来视频。这一过程确保了物理动态的明确性和可解释性。

关键创新：PhiZero的主要创新在于引入物理语言作为世界状态转变的表示方式，与传统方法直接在像素空间进行预测的方式本质上不同。这种方法提高了模型的可解释性和推理能力。

关键设计：在技术细节方面，PhiZero采用了特定的损失函数来优化物理语言的学习过程，并设计了适合的网络结构以支持推理和渲染阶段的高效执行。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PhiZero在多个生成和理解基准测试中表现优异，能够有效建模物理一致的世界演变。与现有模型相比，PhiZero在动作条件模拟和零-shot运动转移方面的性能提升显著，展示了其在复杂场景下的应用潜力。

🎯 应用场景

PhiZero在多个领域具有广泛的潜在应用，包括机器人控制、虚拟现实和增强现实等。通过提供明确的物理世界建模能力，该模型能够支持更复杂的交互式应用，提升用户体验和系统的智能化水平。未来，PhiZero可能在自动驾驶、智能家居等领域发挥重要作用。

📄 摘要（原文）

We introduce PhiZero, a physical world model built around physical language, a compact discrete representation of world-state transitions. Existing physical world models typically predict future videos directly in pixel space, leaving the underlying world dynamics implicit within high-dimensional visual predictors. Motivated by humans' ability to abstract predictive structure from visual experience and organize it in natural language for explicit reasoning, we learn physical language from in-the-wild videos through self-supervision and use it to explicitly reason about how the physical world evolves. Accordingly, PhiZero adopts a reason-then-render paradigm: it first infers future world evolution as a physical-language sequence and then renders the inferred transitions into videos. Extensive experiments across generation and understanding benchmarks validate the ability of PhiZero to model physically coherent world evolution. We further show its potential for realistic and interactive world modeling, fine-grained action-conditioned simulation, and zero-shot motion transfer.