Machine Learning Techniques for Data Reduction of CFD Applications

📄 arXiv: 2404.18063v1 📥 PDF

作者: Jaemoon Lee, Ki Sung Jung, Qian Gong, Xiao Li, Scott Klasky, Jacqueline Chen, Anand Rangarajan, Sanjay Ranka

分类: cs.LG, physics.flu-dyn

发布日期: 2024-04-28

备注: 10 pages, 8 figures

💡 一句话要点

提出保证块自编码器以解决CFD数据降维问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 数据降维 计算流体动力学 张量相关性 主成分分析 时空数据

📋 核心要点

  1. 现有的CFD数据降维方法在压缩比和重构精度之间存在权衡，难以满足科学计算的需求。
  2. 本文提出的保证块自编码器通过利用张量相关性，能够有效捕捉时空数据中的复杂关系，从而实现高效降维。
  3. 实验结果显示，该方法在数据压缩方面比现有方法提高了两个数量级，同时保持了可接受的重构误差。

📝 摘要（中文）

本文提出了一种名为保证块自编码器的技术，利用张量相关性（GBATC）来减少计算流体动力学（CFD）及其他科学应用生成的时空数据。该方法使用多维张量块作为输入和输出，捕捉张量内的时空和物种间关系。为保证重构数据的误差界限，采用主成分分析（PCA）处理原始数据与重构数据之间的残差，生成基矩阵以投影每个实例的残差。实验结果表明，该方法在保持主要数据误差在科学可接受范围内的同时，实现了两个数量级的数据压缩。与基于SZ的降维方法相比，在给定误差界限下，我们的方法实现了显著更高的压缩比。

🔬 方法详解

问题定义：本文旨在解决计算流体动力学（CFD）应用中生成的海量时空数据的降维问题。现有方法在压缩比和重构精度之间存在显著的权衡，难以满足科学计算的需求。

核心思路：论文提出的保证块自编码器（GBATC）通过利用多维张量块，捕捉时空数据中的复杂关系，确保重构数据的误差在可接受范围内。采用主成分分析（PCA）来处理残差，从而提高重构精度。

技术框架：该方法的整体架构包括输入多维张量块、应用PCA处理残差、生成基矩阵、投影残差以及最终的重构输出。每个阶段都旨在优化数据的压缩与重构过程。

关键创新：最重要的技术创新在于结合了张量相关性与主成分分析，使得在保证重构精度的同时，实现了显著的数据压缩。这一方法与传统的降维技术相比，能够更好地捕捉数据的内在结构。

关键设计：在设计中，采用了多维张量作为输入和输出，利用PCA生成基矩阵，并通过投影残差来优化重构过程。具体的参数设置和损失函数设计确保了重构误差的控制在科学可接受范围内。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，保证块自编码器在数据压缩方面实现了两个数量级的提升，同时保持重构误差在科学可接受范围内。与基于SZ的降维方法相比，该方法在给定误差界限下，压缩比显著提高，或在给定压缩比下，重构误差更低，展示了其优越性。

🎯 应用场景

该研究的潜在应用领域包括计算流体动力学、气候模拟、工程设计等需要处理大规模时空数据的科学计算。通过有效的数据降维，能够显著提高数据处理效率，降低存储成本，促进实时数据分析和决策支持。未来，该方法有望在更多科学领域中得到应用，推动相关研究的发展。

📄 摘要（原文）

We present an approach called guaranteed block autoencoder that leverages Tensor Correlations (GBATC) for reducing the spatiotemporal data generated by computational fluid dynamics (CFD) and other scientific applications. It uses a multidimensional block of tensors (spanning in space and time) for both input and output, capturing the spatiotemporal and interspecies relationship within a tensor. The tensor consists of species that represent different elements in a CFD simulation. To guarantee the error bound of the reconstructed data, principal component analysis (PCA) is applied to the residual between the original and reconstructed data. This yields a basis matrix, which is then used to project the residual of each instance. The resulting coefficients are retained to enable accurate reconstruction. Experimental results demonstrate that our approach can deliver two orders of magnitude in reduction while still keeping the errors of primary data under scientifically acceptable bounds. Compared to reduction-based approaches based on SZ, our method achieves a substantially higher compression ratio for a given error bound or a better error for a given compression ratio.