A Cross-Modal Approach to Silent Speech with LLM-Enhanced Recognition

📄 arXiv: 2403.05583v1 📥 PDF

作者: Tyler Benster, Guy Wilson, Reshef Elisha, Francis R Willett, Shaul Druckmann

分类: cs.HC, cs.AI, cs.SD, eess.AS

发布日期: 2024-03-02

💡 一句话要点

提出MONA系统以提升无声语音识别精度

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 无声语音识别 多模态学习 跨模态对齐 大型语言模型 字错误率 人机交互 辅助技术

📋 核心要点

  1. 现有的无声语音识别方法在开放词汇环境下的准确性较低，难以与传统语音识别技术相媲美。
  2. 提出的MONA系统通过跨模态对齐和新型损失函数，结合音频数据集来提升无声语音识别的性能。
  3. 实验结果显示，MONA LISA在多个基准数据集上显著降低了字错误率，展示了无声语音识别的潜力。

📝 摘要（中文）

无声语音接口（SSI）为无创脑机接口提供了一种替代方案，以实现无声的语言交流。本文介绍了多模态口面神经音频（MONA）系统，利用新颖的损失函数（cross-contrast和supervised temporal contrast）进行跨模态对齐，从而训练共享潜在表示的多模态模型。该架构使得可以利用仅包含音频的数据集（如LibriSpeech）来提升无声语音识别的效果。此外，本文引入的大型语言模型集成评分调整（LISA）显著提高了识别准确率。MONA LISA将Gaddy（2020）基准数据集的字错误率（WER）从28.8%降低至12.2%。在脑到文本2024竞赛中，LISA的表现最佳，将顶级WER从9.8%提升至8.9%。

🔬 方法详解

问题定义：本文旨在解决无声语音识别在开放词汇环境下的准确性不足问题。现有方法通常依赖于有限的训练数据，导致识别效果不佳。

核心思路：论文提出的MONA系统通过跨模态对齐，利用音频数据集来增强无声语音的识别能力，特别是引入了新型损失函数以优化模型训练。

技术框架：MONA系统的整体架构包括数据预处理、跨模态对齐模块和识别模块。通过共享潜在表示，模型能够有效整合音频和无声语音信息。

关键创新：最重要的技术创新在于引入了cross-contrast和supervised temporal contrast损失函数，使得模型能够更好地学习跨模态特征，从而提升识别精度。

关键设计：在模型设计中，采用了大型语言模型集成评分调整（LISA），并通过实验验证了其在提高识别准确性方面的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，MONA LISA在Gaddy（2020）基准数据集上将字错误率从28.8%降低至12.2%，在声学肌电图记录中从23.3%降低至3.7%。在脑到文本2024竞赛中，LISA的顶级WER从9.8%提升至8.9%，展示了显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括人机交互、无声通信和辅助技术等。MONA系统能够为有语言障碍的人群提供新的交流方式，同时在嘈杂环境中也能有效识别无声语音，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Silent Speech Interfaces (SSIs) offer a noninvasive alternative to brain-computer interfaces for soundless verbal communication. We introduce Multimodal Orofacial Neural Audio (MONA), a system that leverages cross-modal alignment through novel loss functions--cross-contrast (crossCon) and supervised temporal contrast (supTcon)--to train a multimodal model with a shared latent representation. This architecture enables the use of audio-only datasets like LibriSpeech to improve silent speech recognition. Additionally, our introduction of Large Language Model (LLM) Integrated Scoring Adjustment (LISA) significantly improves recognition accuracy. Together, MONA LISA reduces the state-of-the-art word error rate (WER) from 28.8% to 12.2% in the Gaddy (2020) benchmark dataset for silent speech on an open vocabulary. For vocal EMG recordings, our method improves the state-of-the-art from 23.3% to 3.7% WER. In the Brain-to-Text 2024 competition, LISA performs best, improving the top WER from 9.8% to 8.9%. To the best of our knowledge, this work represents the first instance where noninvasive silent speech recognition on an open vocabulary has cleared the threshold of 15% WER, demonstrating that SSIs can be a viable alternative to automatic speech recognition (ASR). Our work not only narrows the performance gap between silent and vocalized speech but also opens new possibilities in human-computer interaction, demonstrating the potential of cross-modal approaches in noisy and data-limited regimes.