Self-Guidance: Enhancing Neural Codecs via Decoder Manifold Alignment
作者: Xiang Li, Yixuan Zhou, Jingran Xie, Zhiyong Wu, Hui Wang
分类: cs.SD, cs.LG
发布日期: 2026-06-11
备注: 20 pages, 9 figures, accepted to ICML 2026, demo website available at https://sgvqvae.github.io/sgvqvae-demo
💡 一句话要点
提出自引导机制以提升神经编解码器的重建质量
🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)
关键词: 神经编解码器 向量量化 特征流形对齐 音频处理 语音合成 大语言模型
📋 核心要点
- 现有的神经语音编解码器在重建保真度上受到量化误差的限制，常规的解决方案增加了模型复杂性。
- 论文提出通过对齐解码器的内部特征流形，使用轻量级特征映射损失来提升重建质量，避免了复杂的模型调整。
- 实验结果表明，自引导机制在所有重建指标上均有所提升，尤其是在低比特率性能上达到了最先进水平。
📝 摘要（中文）
基于向量量化变分自编码器（VQ-VAE）的神经语音编解码器是语音大语言模型的核心音频标记器，但其重建保真度受到量化误差的限制。常见的解决方案包括修改量化器或增加模型容量，但这些方法会使下游语言建模变得复杂。本文的核心思想是通过轻量级特征映射损失对齐解码器的内部特征流形，处理量化标记和原始连续嵌入。这种方法几乎不增加训练开销且不需要推理时的改变。应用于XCodec2后，自引导机制提升了所有重建指标，实现了最先进的低比特率性能，且在不损失保真度的情况下实现了4倍的代码本缩减，显著改善了基于大语言模型的合成效果。多项统计观察和可视化结果证实了解码器内部流形对齐的增强，广泛的实验验证了其在各种归纳偏置下的通用性。
🔬 方法详解
问题定义：本文旨在解决基于VQ-VAE的神经语音编解码器在重建过程中因量化误差导致的保真度不足的问题。现有方法通常通过修改量化器或增加模型容量来解决，但这些方法会使下游语言建模变得复杂。
核心思路：论文的核心思路是通过对齐解码器的内部特征流形，处理量化标记和其原始连续嵌入，采用轻量级特征映射损失来实现。这种设计旨在在不增加训练开销和推理时间的情况下，提升重建质量。
技术框架：整体架构包括量化模块、解码器和特征映射损失模块。量化模块负责将连续信号转换为离散标记，解码器则将这些标记转换回连续信号，而特征映射损失模块则用于对齐解码器的内部特征流形。
关键创新：最重要的技术创新点在于引入了自引导机制，通过对齐解码器内部特征流形来提升重建质量，这与传统方法的直接修改量化器或增加模型容量的方式有本质区别。
关键设计：在损失函数设计上，采用了轻量级特征映射损失，确保了训练过程中的高效性。同时，网络结构保持了原有的VQ-VAE架构，避免了复杂的模型调整。
🖼️ 关键图片
📊 实验亮点
实验结果显示，自引导机制在所有重建指标上均有显著提升，尤其是在低比特率性能上达到了最先进水平。具体而言，该方法实现了4倍的代码本缩减而不损失保真度，极大简化了下游TTS的标记建模空间。
🎯 应用场景
该研究的潜在应用领域包括语音合成、语音识别和其他音频处理任务。通过提升神经编解码器的重建质量，自引导机制能够显著改善基于大语言模型的合成效果，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Neural speech codecs based on Vector-Quantized VAEs (VQ-VAEs) are core audio tokenizers for speech LLMs, yet their reconstruction fidelity is bottlenecked by quantization error. Modifying the quantizer or increasing model capacity are common fixes, but they complicate downstream language modeling. Our core idea is to align the decoder's internal feature manifolds when processing both the quantized tokens and their original continuous embeddings, using a lightweight feature-mapping loss. This requires minimal training overhead and no inference-time changes. Applied to XCodec2, self-guidance improves all reconstruction metrics, achieving state-of-the-art low-bitrate performance. Notably, it enables a 4x codebook reduction without fidelity loss, which downstream TTS experiments show significantly improves LLM-based synthesis by simplifying the token modeling space. Multiple statistical observations and visualizations corroborate the enhanced internal manifold alignment in the decoder. Extensive experiments confirm its generality across various inductive biases. Self-guidance thus establishes an efficient, broadly applicable method for high-fidelity neural audio coding.