Do Physics Foundation Models Learn Generalizable Physics? A Bias-Aware Benchmark Across Physical Regimes and Distribution Shifts
作者: Mengdi Chu, Yang Liu, Ayan Biswas, Han-Wei Shen
分类: cs.LG, cs.AI
发布日期: 2026-07-05
💡 一句话要点
构建偏差感知基准以评估物理基础模型的可泛化性
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 物理基础模型 泛化能力 偏差感知 时空预测 模型评估
📋 核心要点
- 现有物理基础模型的评估方法往往忽视了模型在不同物理环境和条件下的表现，导致难以判断其泛化能力。
- 本文提出了一个包含多种物理动态和测试环境的基准，以全面评估物理基础模型的泛化能力，关注模型在不同条件下的表现。
- 实验结果表明，当前模型的泛化能力受多种因素影响，改善训练数据分布和模型规模无法完全消除其能力偏差。
📝 摘要（中文）
近期的物理基础模型声称具备一般的时空预测能力，但其评估往往将性能压缩为固定训练分布下的单一平均分数。这使得判断模型是否学习了可泛化的物理动态变得困难。本文构建了一个包含8种物理动态、3种训练数据混合和25种测试环境的基准，涵盖了分布内、分布偏移和分布外的设置。我们评估了五种物理基础模型架构及每种架构的四个模型变体，结果显示当前模型表现为条件性而非普遍性通用者，其泛化能力依赖于物理环境、时间尺度、初始条件设置、预训练、模型大小和架构。改善训练数据分布只能部分缓解这一限制，预训练和扩展也无法可靠消除能力偏差。我们认为，提升物理基础模型需要超越模型扩展或数据扩展，向学习更好捕捉可转移物理知识的机制转变。
🔬 方法详解
问题定义：本文旨在解决物理基础模型在不同物理环境和条件下的泛化能力评估问题。现有方法往往将性能简化为单一分数，无法反映模型的真实能力。
核心思路：通过构建一个包含多种物理动态和测试环境的偏差感知基准，全面评估模型在不同条件下的表现，揭示其泛化能力的局限性。
技术框架：研究设计了一个基准，包含8种物理动态、3种训练数据混合和25种测试环境，涵盖了分布内、分布偏移和分布外的设置。评估了五种模型架构及其变体，进行60,000次测量。
关键创新：最重要的创新在于提出了偏差感知基准，能够系统性地评估物理基础模型的泛化能力，揭示其在不同物理环境下的表现差异。
关键设计：在实验中，考虑了模型的预训练、规模和架构等因素，设计了多种训练数据混合方式，以评估其对模型性能的影响。
🖼️ 关键图片
📊 实验亮点
实验结果显示，当前物理基础模型在不同物理环境下的表现存在显著差异，且其泛化能力受到多种因素的影响。具体而言，模型在特定条件下的表现优于其他条件，表明其并非普遍通用者。改善训练数据分布仅能部分缓解这一问题。
🎯 应用场景
该研究的潜在应用领域包括物理模拟、机器人控制和智能系统设计等。通过提升物理基础模型的泛化能力，可以在更复杂的物理环境中实现更可靠的预测和决策，推动智能系统的实际应用和发展。
📄 摘要（原文）
Recent physics foundation models claim general spatiotemporal forecasting ability, yet their evaluations often collapse performance into a single average score under a fixed training distribution. This makes it difficult to determine whether a model has learned generalizable physical dynamics or only performs well under particular settings. We construct a benchmark with 8 physical dynamics, 3 training-data mixtures, and 25 test regimes induced by dynamic-scale and initial-condition complexity shifts, covering in-distribution, distribution-shift, and out-of-distribution settings. We evaluate five physics foundation model architectures and four model variants per architecture (scratch and three pretrained sizes), resulting in 60,000 measurements. Our results show that current physics foundation models behave as conditional rather than universal generalists: their generality depends on the physical regime, temporal scale, initial-condition setting, pretraining, model size, and architecture. Improving the training data distribution only partially mitigates this limitation. Pretraining and scaling are also unable to reliably remove their ability biases. We argue that improving physics foundation models requires moving beyond scaling models or expanding data, toward learning mechanisms that better capture transferable physical knowledge across regimes, temporal scales, and distribution shifts.