Can Deep Neural Networks Improve Compression of Very Large Scientific Data?
作者: Muhannad Alhumaidi, Guozhong Li, Spiros Skiadopoulos, Panos Kalnis
分类: cs.LG
发布日期: 2026-06-12
💡 一句话要点
提出深度学习模型以提升科学数据压缩效果
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 科学数据压缩 深度学习 预测模型 气候数据 有损压缩 机器学习 熵编码 数据处理
📋 核心要点
- 现有的压缩方法在处理科学数据时，压缩效果依赖于预测器的质量，存在一定的局限性。
- 本文提出一个框架，将深度学习模型与传统压缩技术结合，以提高科学数据的压缩效果。
- 实验结果显示，尽管机器学习模型提高了重建质量和压缩比，但整体数据集的压缩比并未显著改善。
📝 摘要（中文）
误差界限的有损压缩是管理现代模拟和观测仪器产生的大量科学数据的基本技术。现有的最先进压缩器依赖于预测-残差范式，压缩效果取决于预测器的质量。本文探讨现代机器学习模型是否能作为科学数据压缩的优越预测器。我们利用气候领域中已有的高精度预训练天气预测模型，提出一个将空间和时间深度学习模型集成到传统误差界限压缩管道中的框架。通过对ERA5气候数据的评估，发现尽管机器学习预测器能提高重建质量和压缩比，但整体数据集的压缩比并未改善，表明预测精度不足以提升熵编码效率。
🔬 方法详解
问题定义：本文旨在解决现有科学数据压缩方法在压缩效果上的不足，尤其是依赖于预测器质量的问题。现有方法在处理复杂数据时，往往无法有效提高整体压缩比。
核心思路：通过将深度学习模型作为预测器集成到传统的误差界限压缩管道中，利用已有的高精度气候预测模型来提升压缩效果。
技术框架：框架包括空间和时间深度学习模型，支持自回归预测，避免误差累积。主要模块包括数据预处理、模型训练、预测生成和压缩执行。
关键创新：最重要的创新在于将深度学习模型应用于科学数据压缩中，尤其是利用气候领域的预训练模型，显著提升了预测精度。与现有方法相比，强调了残差的空间结构对熵编码效率的重要性。
关键设计：采用了VAEformer、图神经网络和视觉变换器等多种模型作为预测器，设置了相应的损失函数和网络结构，以优化预测效果和压缩性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，机器学习预测器在重建质量上提高了91%，并在高度可预测变量上实现了最高9.6倍的压缩比。然而，整体数据集的压缩比并未显著改善，表明仅依赖预测精度不足以提升压缩效果。
🎯 应用场景
该研究的潜在应用领域包括气候科学、天文学和其他需要处理大规模科学数据的领域。通过提升数据压缩效果，可以有效降低存储成本和传输带宽，提高数据处理效率，具有重要的实际价值和未来影响。
📄 摘要（原文）
Error-bounded lossy compression is a fundamental technique for managing the rapidly growing volumes of scientific data produced by modern simulations and observational instruments. Most state-of-the-art-compressors follow a prediction-residual paradigm, where compression effectiveness depends on the quality of the predictor: more accurate predictions generate smaller residuals that are easier to compress. This observation raises a question: can modern machine learning models serve as superior predictors for scientific data compression? Answering this question directly is challenging because developing compression-specific ML predictors requires substantial resources. Instead, we leverage the climate domain where highly accurate pretrained weather forecasting foundation models already exist, making them an ideal testbed. We present a framework that integrates spatial and temporal deep learning models into a conventional error-bounded compression pipeline. The framework supports auto-regressive forecasting models and avoids error accumulation. Using ERA5 climate data as a representative large-scale scientific dataset, we evaluate three distinct ML predictors: a VAEformer-based codec (CRA5), a graph neural network forecaster (GraphCast), and a vision-transformer forecaster (Aurora), against the state-of-the-art compressor SZ3.1 under identical quantization and entropy-coding backends. Our evaluation over approximately 1.7 TB of data reveals a surprising result: although ML predictors generate more accurate predictions and can improve reconstruction quality by up to 91% while achieving up to 9.6x higher compression ratios for highly predictable variables, they do not improve overall dataset-level compression ratio. We show that prediction accuracy alone is insufficient: the spatial structure of the resulting residuals plays a decisive role in entropy coding efficiency.