Spatiotemporally adaptive compression for scientific dataset with feature preservation -- a case study on simulation data with extreme climate events analysis
作者: Qian Gong, Chengzhu Zhang, Xin Liang, Viktor Reshniak, Jieyang Chen, Anand Rangarajan, Sanjay Ranka, Nicolas Vidal, Lipeng Wan, Paul Ullrich, Norbert Podhorszki, Robert Jacob, Scott Klasky
分类: cs.CV, math.NA
发布日期: 2024-01-06
备注: 10 pages, 13 figures, 2023 IEEE International Conference on e-Science and Grid Computing
期刊: 2023 IEEE 19th International Conference on e-Science, Limassol, Cyprus, 2023, pp. 1-10
DOI: 10.1109/e-Science58273.2023.10254796
💡 一句话要点
提出时空自适应压缩以解决科学数据存储与分析问题
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)
关键词: 时空自适应压缩 科学数据分析 气候模拟 特征保留 有损压缩
📋 核心要点
- 现有方法在处理时间序列数据时，常常需要在时间步长上进行降采样，导致存储和分析精度的损失。
- 本文提出了一种时空自适应的有损压缩技术，通过控制误差来提高数据分析的准确性，同时减少存储需求。
- 实验结果表明，与传统降采样方法相比，所提方法在气旋跟踪分析中显著提高了准确性，存储需求也大幅降低。
📝 摘要（中文）
科学发现日益受到存储空间和I/O能力的限制。对于时间序列模拟和实验，数据常需在时间步长上进行降采样以适应存储和I/O限制。本文提出了一种技术，通过时空自适应、误差控制的有损压缩来解决存储成本问题，同时提高后续分析的准确性。我们研究了数据精度与时间输出速率之间的权衡，发现降低数据精度和增加时间步长频率可以带来更准确的分析结果。此外，我们将时空特征检测与数据压缩相结合，展示了在高维空间中进行自适应误差约束压缩能够实现更高的压缩比，利用了基于变换的压缩器的误差传播理论。通过E3SM气候模拟代码进行实验，结果显示与传统的时间步长降采样方法相比，我们的方法在存储大小上显著减少，同时提高了气旋跟踪分析的质量。
🔬 方法详解
问题定义：本文旨在解决科学数据存储与分析中的存储限制和分析精度问题。现有方法通过降采样导致数据精度下降，影响分析结果的可靠性。
核心思路：本文提出的时空自适应压缩技术，通过控制压缩过程中的误差，优化数据存储与分析之间的平衡，允许在保持分析精度的同时减少存储需求。
技术框架：该方法包括时空特征检测、误差控制压缩和高维空间压缩三个主要模块。首先检测数据中的时空特征，然后根据特征进行自适应压缩，最后在高维空间中实现更高的压缩比。
关键创新：本研究的创新点在于将时空特征检测与压缩过程相结合，利用误差传播理论在高维空间中实现自适应压缩，显著提高了压缩比和分析精度。
关键设计：在设计中，采用了适应性误差约束机制，设置了特定的损失函数以平衡压缩率与分析精度，同时优化了计算效率，确保了仅有5-11%的计算开销。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提自适应压缩框架在气旋跟踪分析中，相较于三种缺乏特征保留能力的先进有损压缩器，完美匹配案例的提升幅度为26.4-51.3%（中等压缩比）和77.3-571.1%（大压缩比），且计算开销仅为5-11%。
🎯 应用场景
该研究的潜在应用领域包括气候模拟、环境监测和其他需要处理大规模时间序列数据的科学研究。通过提高数据存储效率和分析精度，能够为科学研究提供更可靠的支持，推动相关领域的进步与发展。
📄 摘要（原文）
Scientific discoveries are increasingly constrained by limited storage space and I/O capacities. For time-series simulations and experiments, their data often need to be decimated over timesteps to accommodate storage and I/O limitations. In this paper, we propose a technique that addresses storage costs while improving post-analysis accuracy through spatiotemporal adaptive, error-controlled lossy compression. We investigate the trade-off between data precision and temporal output rates, revealing that reducing data precision and increasing timestep frequency lead to more accurate analysis outcomes. Additionally, we integrate spatiotemporal feature detection with data compression and demonstrate that performing adaptive error-bounded compression in higher dimensional space enables greater compression ratios, leveraging the error propagation theory of a transformation-based compressor. To evaluate our approach, we conduct experiments using the well-known E3SM climate simulation code and apply our method to compress variables used for cyclone tracking. Our results show a significant reduction in storage size while enhancing the quality of cyclone tracking analysis, both quantitatively and qualitatively, in comparison to the prevalent timestep decimation approach. Compared to three state-of-the-art lossy compressors lacking feature preservation capabilities, our adaptive compression framework improves perfectly matched cases in TC tracking by 26.4-51.3% at medium compression ratios and by 77.3-571.1% at large compression ratios, with a merely 5-11% computational overhead.