Frozen in Time: How a Physics Foundation Model Forgets Under Sim-to-Real Adaptation

📄 arXiv: 2610.40857v1 📥 PDF

作者: Haaris Mian, Miles Cranmer, Alessandro Favero, Payel Mukhopadhyay

分类: cs.LG, physics.flu-dyn

发布日期: 2026-10-29

备注: Accepted at the Sim2Science workshop, NeurIPS 2026. Code: https://github.com/haarisamian/walrus-forgetting-paper

💡 一句话要点

研究表明SciFM在模拟到真实适应中存在灾难性遗忘问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 科学基础模型 灾难性遗忘 模拟到真实 微调 数据重放

📋 核心要点

  1. 现有的科学基础模型在适应新任务时容易出现灾难性遗忘，导致先前知识的丧失。
  2. 论文提出通过在真实数据微调过程中重放少量模拟数据来缓解遗忘现象，从而保持模型性能。
  3. 实验结果显示，重放1%的模拟数据可以恢复大部分丢失的性能，且在适应实验动态时效果显著。

📝 摘要（中文）

科学基础模型（SciFMs）在多种偏微分方程（PDEs）上表现出色，但在适应新数据分布时面临灾难性遗忘的风险。本文研究了Walrus-1.3B模型在模拟到真实适应过程中的遗忘现象，发现经过20个训练周期后，模型在原始预训练数据集上的表现急剧下降，错误率增加了35倍。通过在真实数据微调过程中重放1%的模拟数据，能够有效恢复大部分丢失的性能，同时保持对实验动态的有效适应。研究结果揭示了灾难性遗忘对SciFMs在模拟到真实适应中的实际障碍，并表明轻量级重放策略显著提高了知识保留能力。

🔬 方法详解

问题定义：本文旨在解决在模拟到真实适应过程中，科学基础模型（SciFMs）出现的灾难性遗忘问题。现有方法在新任务微调时，往往导致模型对先前任务的知识丧失，影响整体性能。

核心思路：论文的核心思路是通过在真实数据微调阶段重放少量的模拟数据，以此来缓解灾难性遗忘现象，从而在保持对新任务适应能力的同时，恢复模型在旧任务上的性能。

技术框架：研究分为两个主要阶段：首先在模拟环境中对模型进行微调，然后在真实数据上进行适应。在真实数据微调过程中，重放1%的模拟数据以帮助模型保留先前的知识。

关键创新：最重要的创新点在于提出了轻量级重放策略，通过重放少量的模拟数据，显著提高了模型在旧任务上的表现，解决了灾难性遗忘的问题。这与传统方法不同，后者通常依赖于更复杂的策略来维持性能。

关键设计：在实验中，模型的微调过程采用了标准的优化算法，损失函数设计为适应新任务的同时，保持对旧任务的性能。重放数据的选择和比例（1%）是关键参数，确保了在不影响新任务适应的情况下，最大限度地恢复旧任务性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在经过20个训练周期后，模型在原始预训练数据集上的错误率增加了35倍。通过重放1%的模拟数据，模型能够恢复大部分丢失的性能，同时在适应实验动态时保持有效性。这一发现强调了轻量级重放策略在灾难性遗忘中的重要性。

🎯 应用场景

该研究的潜在应用领域包括物理模拟、机器人控制和工程设计等领域，尤其是在需要将模拟结果有效转化为真实世界应用的场景。通过解决灾难性遗忘问题，模型能够更好地适应动态变化的环境，提高实际应用的可靠性和效率。未来，这一方法可能推动更多领域的科学基础模型发展，促进跨领域知识迁移。

📄 摘要（原文）

Scientific foundation models (SciFMs) have achieved remarkable performance on a wide range of PDEs, including the ability to efficiently adapt to unseen data distributions with additional finetuning. As with all neural architectures, finetuning such models comes with the risk of catastrophic forgetting, whereby adapting to new tasks degrades prior knowledge of the model. We study catastrophic forgetting in Walrus-1.3B, a SciFM for continuum dynamics, over the course of a two-stage sim-to-real adaptation: first finetuning on simulated flow around a cylinder and then adapting to experimental data of the same system. We find that finetuning on the simulations rapidly degrades rollout performance on the original pretraining datasets, with one-step errors increasing up to 35x after just 20 epochs. Subsequent adaptation to real data further erodes performance on the simulated task. We characterize the potential drivers of forgetting, such as dataset dependence and task representation similarity. We then show that replaying as little as 1% simulated data during real-data finetuning recovers most of the lost simulation performance while retaining effective adaptation to the experimental dynamics. Our results identify catastrophic forgetting as a practical obstacle to sim-to-real adaptation of SciFMs and show that lightweight replay strategies significantly improve retention.