SemantiCodec: An Ultra Low Bitrate Semantic Audio Codec for General Sound

📄 arXiv: 2405.00233v2 📥 PDF

作者: Haohe Liu, Xuenan Xu, Yi Yuan, Mengyue Wu, Wenwu Wang, Mark D. Plumbley

分类: cs.SD, cs.AI, cs.MM, eess.AS, eess.SP

发布日期: 2024-04-30 (更新: 2024-11-28)

备注: Accepted by Journal of Selected Topics in Signal Processing (JSTSP). Demo and code: https://haoheliu.github.io/SemantiCodec/

DOI: 10.1109/JSTSP.2024.3506286

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出SemantiCodec以解决传统音频编码的低语义信息问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 音频编码 语义信息 低比特率 自监督学习 双编码器 扩散模型 音频处理

📋 核心要点

  1. 现有音频编码方法在比特率高的情况下缺乏足够的语义信息，限制了语言建模的有效性。
  2. SemantiCodec通过双编码器架构，结合语义编码和声学编码，有效地压缩音频数据，提升了语义信息的表达能力。
  3. 实验结果显示，SemantiCodec在重建质量上显著优于Descript编码器，且在低比特率下表现出更丰富的语义信息。

📝 摘要（中文）

大型语言模型（LLMs）在音频处理方面取得了显著进展，尤其是在将音频转换为离散标记的音频编码器中。然而，传统编码器通常在高比特率下工作，且缺乏有效的语义线索。为了解决这些问题，本文提出了SemantiCodec，这是一种新型编码器，能够以每秒少于一百个标记的速度压缩多种音频类型，包括语音、一般声音和音乐，同时保持音质。SemantiCodec采用双编码器架构，使用自监督预训练的音频掩蔽自编码器（AudioMAE）作为语义编码器，并通过k均值聚类对大量音频数据进行离散化，另一个声学编码器则捕捉剩余细节。实验结果表明，SemantiCodec在重建质量上显著优于现有的Descript编码器，并且在显著较低的比特率下，语义信息的丰富性也大大提升。

🔬 方法详解

问题定义：本文旨在解决传统音频编码器在高比特率下缺乏语义信息的问题，限制了音频数据的有效处理和应用。

核心思路：SemantiCodec采用双编码器架构，利用自监督学习的音频掩蔽自编码器（AudioMAE）提取语义信息，同时通过声学编码器捕捉音频的细节，从而实现高效压缩。

技术框架：整体架构包括语义编码器和声学编码器，语义编码器通过k均值聚类对音频数据进行离散化，最终通过基于扩散模型的解码器重建音频。

关键创新：SemantiCodec的主要创新在于其双编码器设计，使得在超低比特率下仍能保持高质量的音频重建，并显著提高了语义信息的丰富性。

关键设计：在参数设置上，SemantiCodec提供了三种变体，支持每秒25、50和100个标记，适应不同的比特率需求，且比特率范围为0.31 kbps至1.40 kbps。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SemantiCodec在重建质量上显著优于现有的Descript编码器，尤其在低比特率下，语义信息的丰富性提升了多个数量级，具体表现为在0.31 kbps至1.40 kbps的比特率范围内，重建质量显著提高。

🎯 应用场景

SemantiCodec在音频压缩和处理领域具有广泛的应用潜力，尤其是在语音识别、音乐流媒体和环境声音分析等场景中。其高效的语义信息表达能力将推动音频数据的智能处理和分析，未来可能在多模态学习和人机交互中发挥重要作用。

📄 摘要（原文）

Large language models (LLMs) have significantly advanced audio processing through audio codecs that convert audio into discrete tokens, enabling the application of language modelling techniques to audio data. However, traditional codecs often operate at high bitrates or within narrow domains such as speech and lack the semantic clues required for efficient language modelling. Addressing these challenges, we introduce SemantiCodec, a novel codec designed to compress audio into fewer than a hundred tokens per second across diverse audio types, including speech, general sound, and music, without compromising quality. SemantiCodec features a dual-encoder architecture: a semantic encoder using a self-supervised pre-trained Audio Masked Autoencoder (AudioMAE), discretized using k-means clustering on extensive audio data, and an acoustic encoder to capture the remaining details. The semantic and acoustic encoder outputs are used to reconstruct audio via a diffusion-model-based decoder. SemantiCodec is presented in three variants with token rates of 25, 50, and 100 per second, supporting a range of ultra-low bit rates between 0.31 kbps and 1.40 kbps. Experimental results demonstrate that SemantiCodec significantly outperforms the state-of-the-art Descript codec on reconstruction quality. Our results also suggest that SemantiCodec contains significantly richer semantic information than all evaluated state-of-the-art audio codecs, even at significantly lower bitrates. Our code and demos are available at https://haoheliu.github.io/SemantiCodec/.