Identifiability Without Gaussianity: Symbolic World Models and Near-Infinite Temporal Consistency

📄 arXiv: 2606.12471 📥 PDF

作者: Seth Dobrin, Łukasz Chmiel

分类: stat.ML, cs.CL, cs.ET, cs.LG

发布日期: 2026-06-12

💡 一句话要点

提出物理基础符号架构以解决非高斯系统的时间一致性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 物理基础符号架构 时间一致性 非高斯系统 线性可识别性 动态建模

📋 核心要点

  1. 现有的联合嵌入预测架构在处理非高斯物理系统时，面临时间一致性逐渐恶化的问题。
  2. 本文提出物理基础符号架构（PGSA），实现了对所有物理状态的精确线性可识别性，突破了高斯限制。
  3. PGSA在无限过渡中保持时间一致性，且每步误差仅受数值精度影响，显著提升了模型的稳定性。

📝 摘要（中文）

Klindt等人证明了联合嵌入预测架构（JEPA）在高斯、平稳过程下实现线性可识别性。然而，这一高斯限制对时间一致性提出了根本性挑战。本文证明这一限制源于统计对齐机制，而非世界模型的固有特性。我们提出物理基础符号架构（PGSA），并证明其在所有物理状态下均可实现精确线性可识别性，且每步误差仅受数值精度限制。此外，PGSA在无限过渡中保持时间一致性，而统计世界模型在非高斯系统中无法实现这一特性。

🔬 方法详解

问题定义：本文旨在解决现有统计世界模型在非高斯物理系统中时间一致性逐渐恶化的问题。现有方法在处理复杂动态时，表现出显著的表示误差增长。

核心思路：提出物理基础符号架构（PGSA），通过符号化的方式对世界动态进行建模，从而实现对潜在变量的精确线性可识别性，突破高斯限制。

技术框架：PGSA的整体架构包括三个主要模块：符号化动态建模、精确线性可识别性实现和误差控制机制。每个模块协同工作，确保模型在复杂动态下的稳定性。

关键创新：PGSA的核心创新在于其能够在所有物理状态下实现精确线性可识别性，并且在无限过渡中保持时间一致性，这在现有统计世界模型中是无法实现的。

关键设计：PGSA的设计中，关键参数设置包括数值精度控制，损失函数的选择侧重于减少表示误差，网络结构采用符号化的方式来增强对动态的捕捉能力。通过这些设计，PGSA能够有效应对非高斯系统的挑战。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PGSA在处理非高斯动态时，能够保持每步误差仅受数值精度限制，且在无限过渡中实现时间一致性。与传统统计世界模型相比，PGSA在时间一致性方面的表现提升显著，展示了其在复杂动态建模中的优势。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、复杂系统模拟和动态环境下的决策支持。PGSA的时间一致性特性使其在需要长期预测和稳定表现的场景中具有重要价值，未来可能在自动驾驶、智能制造等领域发挥重要作用。

📄 摘要（原文）

Klindt, LeCun, and Balestriero (arXiv:2605.26379) proved that Joint-Embedding Predictive Architectures (JEPAs) achieve linear identifiability, the linear recovery of the world's true latent variables, if and only if the world's latent dynamics follow a Gaussian, stationary process. This Gaussian boundary implies a fundamental limit on temporal consistency: for any non-Gaussian physical system, the representation error of a statistical World Model grows monotonically with time. We prove that this limit is an artifact of the statistical alignment mechanism, not a property of World Models in general. We introduce the Physics-Grounded Symbolic Architecture (PGSA) and prove three results: (1) a PGSA achieves exact linear identifiability for all physical regimes, regardless of the latent distribution; (2) the per-step error of a PGSA is bounded by numerical precision alone; and (3) as a direct consequence, a PGSA maintains temporal consistency for an unbounded number of transitions, a property we term near-infinite temporal consistency. We further prove that statistical World Models cannot achieve this property for any non-Gaussian system, regardless of model capacity or the volume of training data. The algebraic cores of four of the theorems are formalized in Lean 4 with Mathlib4 v4.31.0 (zero sorry placeholders); the Klindt et al. converse is taken as an external premise. The contrast establishes that symbolic grounding in the causal generator of the world's dynamics is the sufficient condition and, in non-Gaussian regimes, the only condition for near-infinite temporal consistency.