OmniArch: Building Foundation Model For Scientific Computing

📄 arXiv: 2402.16014v3 📥 PDF

作者: Tianyu Chen, Haoyi Zhou, Ying Li, Hao Wang, Chonghan Gao, Rongye Shi, Shanghang Zhang, Jianxin Li

分类: cs.LG, cs.AI

发布日期: 2024-02-25 (更新: 2025-05-29)

备注: ICML 2025

💡 一句话要点

提出OmniArch以解决多尺度多物理科学计算问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 基础模型 科学计算 多尺度 多物理 物理对齐 PDE Transformer 傅里叶编码器

📋 核心要点

  1. 现有科学计算方法在处理多尺度和多物理问题时存在不和谐和适应性不足的挑战。
  2. OmniArch通过统一架构整合傅里叶编码器和Transformer，解决多维度间的物理对齐问题。
  3. 在PDEBench上进行的实验表明，该模型在1D、2D和3D PDE任务中设立了新的性能基准，且具备良好的适应性。

📝 摘要（中文）

基础模型在语言建模领域的成功引发了广泛关注，但其在科学计算中的应用尚未得到充分探索。本文提出OmniArch，旨在通过物理对齐解决多尺度和多物理科学计算问题。该模型采用统一架构，预训练阶段包括傅里叶编码器-解码器以消除不同维度间的不和谐，并通过Transformer骨干网整合时间动态量。新颖的PDE-Aligner在灵活条件下进行物理信息的微调。我们首次在PDEBench上进行1D-2D-3D联合预训练，设立了新的性能基准，并展示了在上下文和零-shot学习方法下对新物理的卓越适应性，支持现实工程应用和前瞻性物理发现。

🔬 方法详解

问题定义：本文旨在解决多尺度和多物理科学计算中的不和谐问题，现有方法在处理不同维度的物理现象时往往表现不佳，缺乏统一的解决方案。

核心思路：OmniArch通过引入傅里叶编码器和Transformer骨干网，旨在实现物理量的有效整合和动态处理，从而提升模型在科学计算中的表现。

技术框架：该模型的整体架构包括预训练阶段的傅里叶编码器-解码器和Transformer骨干网，以及后续的PDE-Aligner模块，后者负责在灵活条件下进行物理信息的微调。

关键创新：首次实现1D-2D-3D联合预训练，显著提升了模型在不同维度PDE任务中的性能，并展示了对新物理现象的适应能力。

关键设计：模型设计中采用了特定的损失函数以确保物理对齐，傅里叶编码器用于处理不同维度间的关系，Transformer则负责时间动态的整合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在PDEBench上的实验结果显示，OmniArch在1D、2D和3D PDE任务中设立了新的性能基准，相较于现有方法，性能提升幅度达到XX%（具体数据未知），并在上下文和零-shot学习中展现出卓越的适应性。

🎯 应用场景

OmniArch的研究成果在工程应用中具有广泛的潜力，尤其是在复杂物理现象的模拟和预测方面。其卓越的适应性使其能够快速响应新兴的科学问题，推动物理发现和工程技术的进步。

📄 摘要（原文）

Foundation models have revolutionized language modeling, while whether this success is replicated in scientific computing remains unexplored. We present OmniArch, the first prototype aiming at solving multi-scale and multi-physics scientific computing problems with physical alignment. We addressed all three challenges with one unified architecture. Its pre-training stage contains a Fourier Encoder-decoder fading out the disharmony across separated dimensions and a Transformer backbone integrating quantities through temporal dynamics, and the novel PDE-Aligner performs physics-informed fine-tuning under flexible conditions. As far as we know, we first conduct 1D-2D-3D united pre-training on the PDEBench, and it sets not only new performance benchmarks for 1D, 2D, and 3D PDEs but also demonstrates exceptional adaptability to new physics via in-context and zero-shot learning approaches, which supports realistic engineering applications and foresight physics discovery.