ArtNet: A JEPA-Like Articulatory Predictive Framework for Robust Zero-Shot Phoneme Recognition

📄 arXiv: 2606.16595v1 📥 PDF

作者: Zeqian Hu, Fuliang Weng, Shu Shang, Yaqian Zhou

分类: cs.SD, cs.AI

发布日期: 2026-06-15

备注: Accepted at Interspeech 2026

💡 一句话要点

提出ArtNet框架以解决零样本跨语言音素识别问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 零样本学习 音素识别 自监督学习 变分信息瓶颈 跨语言处理 声学鲁棒性 发音特征

📋 核心要点

  1. 现有的零样本跨语言音素识别方法在声学到符号的直接映射上存在脆弱性，容易受到语言特定变异的影响。
  2. 本文提出ArtNet框架，通过发音特征的结构化预测任务来增强声学鲁棒性，结合自监督学习和变分信息瓶颈。
  3. 实验结果显示，ArtNet在七种未见语言上表现优异，特别是与向量空间库存对齐策略结合时，显著降低音素错误率和音素特征错误率。

📝 摘要（中文）

零样本跨语言音素识别常受到直接声学到符号映射的脆弱性影响，这种映射容易受到语言特定变异的干扰。为此，本文提出ArtNet框架，探索基于发音特征的结构化特征预测任务，以增强声学鲁棒性。ArtNet集成了发音预测器，旨在从自监督学习特征中提取通用的发音表示，并结合变分信息瓶颈以抑制语言特定变异。实验结果表明，ArtNet在七种未见语言上表现优异，尤其是与提出的向量空间库存对齐策略协同时，显著超越竞争基线，音素错误率（PER）相对降低20.56%，音素特征错误率（PFER）降低7.01%。

🔬 方法详解

问题定义：本文旨在解决零样本跨语言音素识别中的声学到符号映射脆弱性问题，现有方法在面对语言特定变异时表现不佳。

核心思路：ArtNet框架通过发音特征的结构化预测任务来增强声学鲁棒性，利用自监督学习提取通用发音表示，并通过变分信息瓶颈抑制语言特定变异。

技术框架：ArtNet的整体架构包括发音预测器和变分信息瓶颈模块。发音预测器负责从自监督学习特征中提取发音表示，而变分信息瓶颈则用于减少语言特定信息的干扰。

关键创新：ArtNet的主要创新在于结合了发音特征的结构化预测与变分信息瓶颈，形成了一种新的鲁棒性增强机制，这与传统的声学到符号映射方法有本质区别。

关键设计：在网络结构上，ArtNet采用了自监督学习的特征提取方法，损失函数设计上结合了发音预测和信息瓶颈的目标，以优化模型的鲁棒性和准确性。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，ArtNet在七种未见语言上的音素错误率（PER）相对降低了20.56%，音素特征错误率（PFER）降低了7.01%。与竞争基线相比，ArtNet的表现显著提升，尤其是在结合向量空间库存对齐策略时，效果更为明显。

🎯 应用场景

该研究的潜在应用领域包括多语言语音识别、跨语言信息检索和语言学习辅助工具。ArtNet框架的鲁棒性增强特性使其能够在多种语言环境下有效工作，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Zero-shot cross-lingual phoneme recognition is often hindered by the fragility of direct acoustic-to-symbol mapping, which is susceptible to language-specific variations. Echoing joint-embedding predictive architecture (JEPA) work in vision, we propose ArtNet, a framework that explores a structured feature prediction task based on articulatory features to enhance acoustic robustness. Specifically, ArtNet integrates an articulatory predictor, designed to extract universal articulatory representations from self-supervised learning (SSL) features, with a variational information bottleneck (VIB) to suppress language-specific variations. Experiments on seven unseen languages demonstrate that ArtNet, particularly when synergized with the proposed vector-space inventory alignment (VSIA) strategy, significantly outperforms competitive baselines, achieving a 20.56\% relative reduction in phoneme error rate (PER) and 7.01\% in phoneme feature error rate (PFER).