Generalized zero-shot audio-to-intent classification

📄 arXiv: 2311.02482v1 📥 PDF

作者: Veera Raghavendra Elluru, Devang Kulshreshtha, Rohit Paturi, Sravan Bodapati, Srikanth Ronanki

分类: cs.SD, cs.AI, cs.LG, eess.AS

发布日期: 2023-11-04

💡 一句话要点

提出一种通用零样本音频到意图分类框架以解决未见意图问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 音频到意图分类 零样本学习 自监督学习 多模态训练 神经音频合成

📋 核心要点

  1. 现有的音频到意图分类系统在处理未见意图时效果不佳，限制了其实际应用。
  2. 本研究提出的框架通过结合自监督学习和神经音频合成，能够有效处理未见意图的分类问题。
  3. 实验结果表明，采用多模态训练策略后，零样本意图分类的准确率显著提升，尤其在目标导向对话数据集上表现突出。

📝 摘要（中文）

随着仅使用音频数据的口语理解系统日益受到关注，其处理未见意图的能力仍然有限。本研究提出了一种通用的零样本音频到意图分类框架，仅需每个意图少量文本样本。我们首先利用自监督预训练模型训练一个监督音频到意图分类器。然后，我们利用神经音频合成器为样本文本生成音频嵌入，并通过余弦相似度对未见意图进行通用零样本分类。此外，我们提出了一种多模态训练策略，将词汇信息融入音频表示，以提高零样本性能。我们的多模态训练方法在SLURP和内部目标导向对话数据集上，分别提高了未见意图的零样本分类准确率2.75%和18.2%。

🔬 方法详解

问题定义：本论文旨在解决现有音频到意图分类系统在面对未见意图时的性能不足问题。传统方法依赖于大量标注数据，难以适应新意图的出现。

核心思路：论文提出了一种通用的零样本分类框架，通过自监督预训练模型和音频合成技术，利用少量文本样本生成音频嵌入，从而实现对未见意图的分类。

技术框架：整体流程包括三个主要阶段：首先，使用自监督学习训练音频到意图分类器；其次，利用神经音频合成器生成音频嵌入；最后，通过余弦相似度进行未见意图的分类。

关键创新：最重要的创新在于提出了多模态训练策略，将词汇信息与音频表示结合，显著提升了零样本分类的性能。这一方法与传统的单一音频训练方法有本质区别。

关键设计：在模型设计中，采用了特定的损失函数以优化音频嵌入的生成，同时在网络结构上结合了自监督学习的预训练模型，确保了音频特征的有效性。具体参数设置和网络架构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，采用多模态训练策略后，SLURP数据集的零样本意图分类准确率提高了2.75%，而在内部目标导向对话数据集上提升幅度更为显著，达到18.2%。这些结果表明该方法在处理未见意图方面的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括智能助手、语音控制系统和人机交互等场景。通过提高未见意图的分类能力，能够增强系统的灵活性和适应性，提升用户体验。未来，该框架有望在更广泛的自然语言处理任务中得到应用，推动音频理解技术的发展。

📄 摘要（原文）

Spoken language understanding systems using audio-only data are gaining popularity, yet their ability to handle unseen intents remains limited. In this study, we propose a generalized zero-shot audio-to-intent classification framework with only a few sample text sentences per intent. To achieve this, we first train a supervised audio-to-intent classifier by making use of a self-supervised pre-trained model. We then leverage a neural audio synthesizer to create audio embeddings for sample text utterances and perform generalized zero-shot classification on unseen intents using cosine similarity. We also propose a multimodal training strategy that incorporates lexical information into the audio representation to improve zero-shot performance. Our multimodal training approach improves the accuracy of zero-shot intent classification on unseen intents of SLURP by 2.75% and 18.2% for the SLURP and internal goal-oriented dialog datasets, respectively, compared to audio-only training.