Self-Guidance: Enhancing Neural Codecs via Decoder Manifold Alignment
作者: Xiang Li, Yixuan Zhou, Jingran Xie, Zhiyong Wu, Hui Wang
分类: cs.SD, cs.LG
发布日期: 2026-06-12
💡 一句话要点
提出自引导方法以提升神经音频编解码器性能
🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)
关键词: 神经音频编码 特征流形对齐 量化误差 音频重建 大语言模型
📋 核心要点
- 现有的神经语音编解码器在重建保真度上受到量化误差的限制，影响了下游任务的性能。
- 论文提出通过对齐解码器的内部特征流形，使用轻量级特征映射损失来提升重建质量。
- 实验结果表明，自引导方法在重建指标上均有显著提升，并实现了4倍的代码本减少，提升了合成效果。
📝 摘要（中文）
基于向量量化变分自编码器（VQ-VAEs）的神经语音编解码器是语音大语言模型的核心音频标记器，但其重建保真度受到量化误差的限制。常见的解决方案是修改量化器或增加模型容量，但这会使下游语言建模变得复杂。本文的核心思想是通过轻量级特征映射损失对齐解码器的内部特征流形，同时处理量化标记和其原始连续嵌入。这种方法几乎不增加训练开销且不需要推理时的变化。应用于XCodec2，自引导方法改善了所有重建指标，实现了最先进的低比特率性能。值得注意的是，它在不损失保真度的情况下实现了4倍的代码本减少，显著简化了标记建模空间，从而改善了基于大语言模型的合成效果。多项统计观察和可视化结果证实了解码器内部流形对齐的增强。大量实验验证了其在各种归纳偏置下的通用性，因此自引导方法为高保真神经音频编码建立了一种高效且广泛适用的方法。
🔬 方法详解
问题定义：本文旨在解决神经语音编解码器在重建过程中由于量化误差导致的保真度不足的问题。现有方法通常通过修改量化器或增加模型容量来应对，但这会增加下游语言建模的复杂性。
核心思路：论文提出的核心思路是对齐解码器的内部特征流形，处理量化标记和原始连续嵌入时使用轻量级特征映射损失。这种方法旨在在不增加训练开销和推理时复杂性的前提下，提升重建质量。
技术框架：整体架构包括量化标记的生成、特征流形对齐和重建过程。首先，通过VQ-VAE生成量化标记，然后在解码器中对齐特征流形，最后进行音频重建。
关键创新：最重要的技术创新点在于引入了轻量级特征映射损失来实现解码器内部特征流形的对齐，这与传统方法的直接修改量化器或增加模型容量的方式有本质区别。
关键设计：在损失函数设计上，采用了特征映射损失来量化解码器特征流形的对齐程度。同时，模型结构保持简洁，确保了在训练和推理阶段的高效性。具体的参数设置和网络结构细节在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，自引导方法在所有重建指标上均有显著提升，尤其是在低比特率性能上达到了最先进水平。此外，该方法实现了4倍的代码本减少，且在不损失音频保真度的情况下，显著改善了基于大语言模型的合成效果。
🎯 应用场景
该研究的潜在应用领域包括语音合成、语音识别和其他音频处理任务。通过提升神经音频编解码器的重建质量，自引导方法可以显著改善基于大语言模型的音频生成效果，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Neural speech codecs based on Vector-Quantized VAEs (VQ-VAEs) are core audio tokenizers for speech LLMs, yet their reconstruction fidelity is bottlenecked by quantization error. Modifying the quantizer or increasing model capacity are common fixes, but they complicate downstream language modeling. Our core idea is to align the decoder's internal feature manifolds when processing both the quantized tokens and their original continuous embeddings, using a lightweight feature-mapping loss. This requires minimal training overhead and no inference-time changes. Applied to XCodec2, self-guidance improves all reconstruction metrics, achieving state-of-the-art low-bitrate performance. Notably, it enables a 4x codebook reduction without fidelity loss, which downstream TTS experiments show significantly improves LLM-based synthesis by simplifying the token modeling space. Multiple statistical observations and visualizations corroborate the enhanced internal manifold alignment in the decoder. Extensive experiments confirm its generality across various inductive biases. Self-guidance thus establishes an efficient, broadly applicable method for high-fidelity neural audio coding.