Probing the phon* representations of the Mimi codebooks

📄 arXiv: 2610.35432v1 📥 PDF

作者: Artem Saloev, Nicolas Ballier, Erin Pacquetet

分类: cs.CL

发布日期: 2026-10-26

备注: Accepted at the 9th International Conference on Natural Language and Speech Processing (ICNLSP-2026) https://aclanthology.org/2026.icnlsp-1.30/

💡 一句话要点

探讨Mimi编码器的音素表示以优化语音编码

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 音频编码 音素表示 神经网络 语音识别 互信息 强制对齐 熵分析

📋 核心要点

  1. 现有的ABX风格评估方法不适合Mimi编码器的80毫秒标记窗口，导致音素表示的评估困难。
  2. 论文提出通过强制对齐、熵分析和音素归一化互信息（PNMI）来评估音素表示，克服了传统方法的局限性。
  3. 实验结果表明，单个标记与特定音素之间的关联性强（PNMI = 0.84），但音素并非一一对应于标记。

📝 摘要（中文）

神经音频编码器在与大型语言模型集成时越来越多地用于编码语音。本文研究了Mimi编码器第一个代码本（CB0）中的音素表示。由于ABX风格评估不适合Mimi固定的80毫秒标记窗口，常常跨越多个音素，因此我们采用了强制对齐、熵分析和音素归一化互信息（PNMI）的方法。使用TIMIT语音数据（58/55名说话者，SA1/SA2），发现单个标记与特定音素之间存在强关联（PNMI = 0.84，超过随机水平），但音素通过多个竞争标记实现，而不是一一对应的映射。

🔬 方法详解

问题定义：本文旨在解决Mimi编码器中音素表示的评估问题，现有的ABX评估方法无法有效处理固定的80毫秒标记窗口，导致音素识别的准确性下降。

核心思路：通过采用强制对齐、熵分析和音素归一化互信息（PNMI）的方法，论文提供了一种新的评估框架，以更准确地捕捉音素与标记之间的关系。

技术框架：整体流程包括数据预处理、强制对齐、熵分析和PNMI计算。首先对TIMIT语音数据进行处理，然后通过强制对齐获得音素信息，接着进行熵分析，最后计算PNMI以评估音素与标记的关联性。

关键创新：论文的主要创新在于使用PNMI作为评估指标，揭示了音素与多个标记之间的复杂关系，而非传统的一一映射。

关键设计：在实验中，采用了TIMIT语音数据集，设置了特定的标记窗口（80毫秒），并通过强制对齐技术确保音素信息的准确性，最终得到了PNMI = 0.84的结果，显示出显著的音素关联性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，单个标记与特定音素之间的PNMI值达到0.84，显著高于随机水平，表明Mimi编码器在音素表示方面具有较强的有效性。此外，研究揭示了音素与多个标记之间的复杂关系，为后续研究提供了新的视角。

🎯 应用场景

该研究的潜在应用领域包括语音识别、语音合成和自然语言处理等。通过优化音素表示，能够提升语音编码的效率和准确性，从而在智能助手、翻译系统等实际应用中发挥重要作用。未来，随着技术的进步，可能会进一步推动多语言和方言的语音处理能力。

📄 摘要（原文）

Neural audio codecs are increasingly used to encode speech for integration with large language models. This paper investigates the phonetic representations in the first codebook (CB0) of the Mimi codec. ABX style evaluation is poorly suited to Mimi fixed 80 ms tokenization window, which often spans multiple phonemes; we instead use forced alignment, entropy analysis, and Phone-Normalized Mutual Information (PNMI). Using TIMIT speech (58/55 speakers, SA1/SA2), individual tokens are strongly associated with specific phonemes (PNMI = 0.84, above random), yet phonemes are realized by multiple competing tokens rather than a one-to-one mapping.