Revisiting Data Compression with Language Modeling

📄 arXiv: 2601.02875v1 📥 PDF

作者: Chen-Han Tsai

分类: cs.CL

发布日期: 2026-01-06

备注: Preprint

💡 一句话要点

利用大型语言模型改进数据压缩，在enwik9数据集上取得SOTA

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 数据压缩 大型语言模型 序列建模 算术编码 非文本数据压缩

📋 核心要点

  1. 现有数据压缩算法在处理复杂数据类型和利用上下文信息方面存在局限性，限制了压缩效率的进一步提升。
  2. 该论文探索使用大型语言模型（LLM）作为数据压缩器，利用其强大的上下文理解和生成能力来提高压缩率。
  3. 实验结果表明，该方法在enwik9数据集上实现了新的SOTA调整压缩率，并在非英语数据和代码数据压缩方面表现出竞争力。

📝 摘要（中文）

本报告探讨了大型语言模型（LLM）在数据压缩任务中的应用潜力。先前的工作表明，LLM不仅在文本压缩方面，而且在各种多模态数据压缩方面都取得了可喜的成果。尽管性能良好，但将现有数据压缩算法替换为LLM仍然存在一些实际问题。本文探索了使用LLM作为数据压缩器来实现更低调整压缩率的不同方法。与之前的工作相比，我们无需额外的模型训练，即可在enwik9数据集上实现约18%的最新（SOTA）调整压缩率。此外，我们还探索了LLM在压缩非英语数据、代码数据和字节流序列方面的应用。结果表明，虽然LLM擅长压缩文本主导领域的数据，但如果配置得当，它们在压缩非自然文本序列方面的能力仍然具有竞争力。

🔬 方法详解

问题定义：论文旨在解决传统数据压缩算法在处理复杂、非结构化数据时效率不高的问题。现有算法难以充分利用数据中的上下文信息和语义关系，导致压缩率受限，尤其是在处理非自然文本序列（如代码、字节流）时表现不佳。

核心思路：核心思路是利用大型语言模型（LLM）强大的语言建模能力，将数据压缩问题转化为一个序列预测问题。LLM能够学习数据中的复杂模式和依赖关系，从而更有效地预测下一个数据单元，并利用预测结果进行压缩。通过概率分布编码，将高概率的数据单元用较短的编码表示，从而实现数据压缩。

技术框架：整体框架包括以下几个主要阶段：1) 数据预处理：将原始数据转换为LLM可以处理的序列格式。2) LLM建模：使用预训练的LLM对数据序列进行建模，学习数据中的概率分布。3) 概率编码：根据LLM预测的概率分布，使用算术编码等方法对数据进行编码，实现压缩。4) 解码：使用LLM和编码信息恢复原始数据。

关键创新：关键创新在于将LLM应用于通用数据压缩任务，并探索了其在非文本数据压缩方面的潜力。与传统方法相比，LLM能够更好地捕捉数据中的长程依赖关系和复杂模式，从而实现更高的压缩率。此外，该研究还探索了不同的LLM配置和编码策略，以优化压缩性能。

关键设计：论文中可能涉及的关键设计包括：1) LLM的选择：选择合适的预训练LLM，如Transformer模型。2) 序列化方法：如何将非文本数据（如图像、音频）转换为LLM可以处理的序列。3) 概率编码方法：选择合适的概率编码方法，如算术编码或霍夫曼编码。4) 调整压缩率的策略：可能使用了调整模型输出概率分布的策略，以平衡压缩率和解码速度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该研究在enwik9数据集上实现了约18%的最新（SOTA）调整压缩率，无需额外的模型训练。此外，实验还表明，经过适当配置，LLM在压缩非英语数据、代码数据和字节流序列方面也具有竞争力，证明了LLM在通用数据压缩方面的潜力。

🎯 应用场景

该研究成果可应用于各种数据存储和传输场景，尤其是在需要高压缩率和处理复杂数据类型的应用中，例如：云存储、大数据分析、多媒体内容分发、科学数据存档等。利用LLM进行数据压缩可以显著降低存储成本和带宽需求，提高数据处理效率。未来，该技术有望成为新一代通用数据压缩解决方案的核心组成部分。

📄 摘要（原文）

In this report, we investigate the potential use of large language models (LLM's) in the task of data compression. Previous works have demonstrated promising results in applying LLM's towards compressing not only text, but also a wide range of multi-modal data. Despite the favorable performance achieved, there still remains several practical questions that pose a challenge towards replacing existing data compression algorithms with LLM's. In this work, we explore different methods to achieve a lower adjusted compression rate using LLM's as data compressors. In comparison to previous works, we were able to achieve a new state-of-the-art (SOTA) adjusted compression rate of around $18\%$ on the enwik9 dataset without additional model training. Furthermore, we explore the use of LLM's in compressing non-English data, code data, byte stream sequences. We show that while LLM's excel in compressing data in text-dominant domains, their ability in compressing non-natural text sequences still remain competitive if configured in the right way.