PhysicsBench: A Unified Leaderboard for Generative and Predictive Models in Engineering Design and Simulation

📄 arXiv: 2608.24056v1 📥 PDF

作者: Sang Won Lee, Hyogu Jeong, Namwoo Kang

分类: cs.LG, cs.CE

发布日期: 2026-08-25

备注: 40 pages, 12 figures, 8 tables. Leaderboard: https://leaderboard.narnia.ai | Data: https://github.com/Narnialabs/leaderboard

💡 一句话要点

提出PhysicsBench以统一评估工程设计中的生成与预测模型

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 生成模型 预测模型 工程设计 统一评估 数据规模 标准化方法 性能比较

📋 核心要点

  1. 现有的生成和预测模型评估方法存在孤立评估、数据集不一致和指标不统一等问题。
  2. 本文提出PhysicsBench，通过统一的基准和排行榜，标准化评估生成和预测模型，涵盖多个任务和数据规模。
  3. 实验结果显示，模型在不同数据规模下的排名变化显著，且没有模型在所有任务中都表现最佳，突显了评估的多样性。

📝 摘要（中文）

生成和预测人工智能模型在工程设计和仿真中越来越多地被使用，以生成几何形状和预测物理场及标量量。然而，这些模型通常在孤立的情况下进行评估，使用不一致的指标和程序。本文提出了PhysicsBench，一个统一的基准和排行榜，通过标准化程序评估生成和预测模型。PhysicsBench涵盖1D、2D和3D领域的七个生成和预测任务，对66个模型在九个数据集上进行排名，涉及工业规模的CAD/CFD/FEA仿真和公共参考，扩展为28种配置。评估范围涵盖从S到XL的现实有限数据规模，而不是学术基准中常见的无限训练集。一个通用指标套件捕捉几何保真度、物理场和标量准确性，以及工程特定的场和形状有效性。

🔬 方法详解

问题定义：论文要解决的问题是现有生成和预测模型评估方法的孤立性和不一致性，导致模型性能难以比较和选择。现有方法通常在无限数据集上评估，缺乏现实场景的适用性。

核心思路：论文的核心解决思路是通过PhysicsBench提供一个统一的评估框架，涵盖多个生成和预测任务，并在现实有限数据规模下进行评估，以提高模型选择的科学性和可靠性。

技术框架：整体架构包括七个生成和预测任务，涵盖1D、2D和3D领域。评估过程使用统一的指标套件，涵盖几何保真度、物理场准确性等，采用PageRank算法对模型进行排名。

关键创新：最重要的技术创新点在于将生成和预测模型的评估标准化，首次在同一平台上对不同模型进行综合比较，解决了以往评估方法的局限性。

关键设计：在评估过程中，采用了多种指标来捕捉模型的几何和物理性能，设计了BenchRank算法以消除相关性偏差，并提供了计算效率的独立视图。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，模型在不同数据规模下的表现差异显著，六个任务中排名最高的模型随着数据规模的变化而变化，且没有模型在所有任务中都表现最佳。这一发现强调了在有限数据条件下评估模型的重要性，推动了模型选择的科学化。

🎯 应用场景

该研究的潜在应用领域包括工程设计、仿真优化和智能制造等。通过提供统一的评估标准，PhysicsBench能够帮助工程师和研究人员更有效地选择和比较不同的生成和预测模型，从而提高设计效率和准确性，推动工程领域的创新与发展。

📄 摘要（原文）

Generative and predictive artificial intelligence models are increasingly used to generate geometry and to predict physical fields and scalar quantities in engineering design and simulation. Yet these models are typically evaluated in isolation, on academic datasets at unconstrained scales, with inconsistent metrics and procedures. We present PhysicsBench, a unified benchmark and leaderboard that evaluates generative and predictive models under one standardized procedure. PhysicsBench spans seven generation and prediction tasks across 1D, 2D, and 3D domains and ranks 66 models on nine datasets, comprising industrial-scale CAD/CFD/FEA simulations and public references, expanded into 28 configurations. One procedure and ranking apply to both families, each ranked within its own tasks. Evaluation spans realistic, limited data scales from S to XL rather than the unlimited training sets common in academic benchmarks. A common metric suite captures geometric fidelity with distributional distances, physical-field and scalar accuracy, and engineering-specific field- and shape-validity. BenchRank debiases correlated metrics and ranks by PageRank over a head-to-head dominance graph, so every reported quality metric is also ranked, with computational cost in a separate efficiency view. Across tasks, an architecture's large-scale academic standing weakly predicts its small-data ranking. The top model changes with data scale in six of the seven tasks, and no model leads more than one task. PhysicsBench turns "state-of-the-art" from a self-reported claim into an openly published foundation for model selection.