What Can Latent World Models Know? Physical Parameter Identifiability in Multimodal Predictive Representations

📄 arXiv: 2607.27017v1 📥 PDF

作者: Kaizhen Tan, Xin Xu, Siru Tao, Hanzhe Hong, Yang Feng, Heqing Du

分类: cs.LG, cs.RO

发布日期: 2026-07-29

💡 一句话要点

提出证书门控协议以识别潜在世界模型中的物理参数

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 潜在世界模型 物理参数识别 证书门控协议 多模态预测 机器人控制 交互环境 数据驱动学习

📋 核心要点

  1. 现有潜在世界模型在物理参数识别上存在局限，无法有效捕捉所有环境特性。
  2. 本文提出了一种证书门控协议，通过控制实验来验证物理参数的可恢复性和潜在表示的有效性。
  3. 实验结果表明，目标结构决定了潜在模型获取的物理参数，且数据量的增加仅改善已获取参数的表现。

📝 摘要（中文）

潜在世界模型的核心假设是，通过预测未来，模型能够内化其环境的物理特性。本文通过在POKEWORLD环境中进行控制干预，探讨训练后的潜在表示中包含哪些物理量及其决定因素。研究采用证书门控协议，首先验证每个参数是否可从原始观察中恢复，然后测量其是否进入潜在表示。结果显示，输入限制了可知信息，而预测目标决定了保留内容。刚度参数仅在预测触摸时进入潜在表示，而在单步预测下，视觉潜在表示则丢弃了可见的物体状态。实验还表明，拖拽参数的可恢复性证书为0.89，但在所有确定性预测目标下停滞在0.13，显示出目标结构对潜在获取的物理参数的影响。

🔬 方法详解

问题定义：本文旨在识别潜在世界模型中可恢复的物理参数，现有方法未能有效区分不同物理量的可识别性和影响因素。

核心思路：通过证书门控协议，验证每个物理参数的可恢复性，并测量其是否进入潜在表示，以此揭示输入和预测目标对信息获取的影响。

技术框架：研究采用POKEWORLD环境进行实验，首先进行参数的可恢复性验证，然后通过不同的预测目标测试潜在表示的有效性，最后在RH20T环境中进行多机器人实验以验证结果的普适性。

关键创新：提出的证书门控协议是本研究的核心创新，能够明确区分哪些物理参数可以被潜在模型有效捕获，且揭示了输入和预测目标的相互作用。

关键设计：在实验中，刚度参数仅在预测触摸时进入潜在表示，拖拽参数的可恢复性证书为0.89，但在确定性预测目标下表现不佳，显示出参数读取速度和类型对获取的影响。实验还表明，完整的多模态目标能够超越基线预测。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，刚度参数在预测触摸时的R²为0.50，而在仅融合信号时为-0.02，表明预测目标对潜在表示的影响显著。拖拽参数的可恢复性证书为0.89，但在所有测试的确定性预测目标下停滞在0.13，显示出目标结构的重要性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、物理仿真和智能交互系统。通过更好地理解潜在模型如何捕捉物理特性，可以提升机器人在复杂环境中的决策能力和适应性，推动智能系统的进一步发展。

📄 摘要（原文）

A central premise of latent world models is that predicting the future forces a representation to internalize the physics of its environment. Which physical quantities does a trained latent actually contain, and what decides this? We answer with controlled interventions in POKEWORLD, an interactive environment whose visually identical objects hide mass, drag, and contact stiffness. A certificate-gated protocol first certifies each parameter as recoverable from raw observations, then measures whether it enters the latent, so a null result can be attributed to the objective rather than to the environment. The resulting identifiability map has two organizing mechanisms and one frontier. Inputs limit what can be known, while prediction targets decide what is retained. Stiffness enters the latent only when touch is forecast ($R^2=0.50$, compared with $-0.02$ when the same signal is merely fused into the input), and under single-step prediction a vision-only latent discards even perfectly visible object state. Drag marks the frontier. It carries a recoverability certificate of 0.89 yet plateaus near 0.13 under every deterministic prediction objective we test, while a supervised head on the same trunk reaches 0.45. Parameters whose readout is slow and ratio-type under the sensed coordinates fall outside what these objectives acquire. On RH20T, an input-target factorial across scaling curves reproduces both mechanisms across two robots and 4,258 episodes. Every arm missing information or prediction pressure stays flat over a fivefold data range, and only the full multimodal objective forecasts force beyond a persistence baseline, with held-out gains that grow with scale. Objective structure determines which physical parameters a latent acquires, and additional data improves only the parameters it already acquires.