A Multimodal Approach to Device-Directed Speech Detection with Large Language Models
作者: Dominik Wagner, Alexander Churchill, Siddharth Sigtia, Panayiotis Georgiou, Matt Mirsamadi, Aarshee Mishra, Erik Marchi
分类: cs.CL, cs.LG, eess.AS
发布日期: 2024-03-21 (更新: 2024-03-26)
备注: arXiv admin note: text overlap with arXiv:2312.03632
DOI: 10.1109/ICASSP48485.2024.10446224
💡 一句话要点
提出多模态方法以提升设备导向语音检测性能
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态融合 语音识别 自然语言处理 虚拟助手 机器学习
📋 核心要点
- 现有的虚拟助手交互方式依赖于用户使用触发短语，限制了交互的灵活性和自然性。
- 本文提出通过声学信息、ASR解码输出和多模态特征结合的方法，来提升语音检测的准确性。
- 实验结果表明，多模态方法在错误率上相较于传统模型有显著提升，且LLM规模的增加进一步改善了性能。
📝 摘要（中文）
与虚拟助手的交互通常以预定义的触发短语开始，随后是用户命令。为了使与助手的交互更加直观，本文探讨了是否可以省略用户每次命令都需以触发短语开始的要求。研究通过三种方式进行：首先，仅使用音频波形获取的声学信息训练分类器；其次，利用自动语音识别（ASR）系统的解码器输出作为大型语言模型（LLM）的输入特征；最后，探索结合声学和词汇特征以及ASR解码信号的多模态系统。使用多模态信息相较于仅文本或仅音频模型，错误率改善最高可达39%和61%。增加LLM的规模并采用低秩适应训练，进一步使错误率降低最高达18%。
🔬 方法详解
问题定义：本文旨在解决用户与虚拟助手交互时必须使用触发短语的限制，现有方法在灵活性和自然性上存在不足。
核心思路：通过结合声学信息、ASR解码输出和多模态特征，探索更自然的语音指令识别方式，减少对触发短语的依赖。
技术框架：整体架构包括三个主要模块：声学信息分类器、ASR解码器输出处理和多模态特征融合，最终将这些特征输入到大型语言模型中进行处理。
关键创新：最重要的创新在于提出了多模态系统，结合了声学和词汇特征，显著提升了语音检测的准确性，与传统的单一特征方法相比具有本质区别。
关键设计：在模型设计中，采用了低秩适应训练方法，优化了LLM的参数设置，确保了在不同数据集上的良好表现。具体的损失函数和网络结构设计也经过精心调整，以适应多模态输入。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用多模态信息的系统在错误率上相较于仅文本和仅音频模型分别提升了最高39%和61%。此外，增加LLM的规模和采用低秩适应训练，进一步使错误率降低了最高18%。
🎯 应用场景
该研究的潜在应用领域包括智能家居、车载语音助手和移动设备等，能够提升用户与设备的交互体验，降低使用门槛。未来，该技术可能推动更自然的人机交互方式，促进语音识别技术的广泛应用。
📄 摘要（原文）
Interactions with virtual assistants typically start with a predefined trigger phrase followed by the user command. To make interactions with the assistant more intuitive, we explore whether it is feasible to drop the requirement that users must begin each command with a trigger phrase. We explore this task in three ways: First, we train classifiers using only acoustic information obtained from the audio waveform. Second, we take the decoder outputs of an automatic speech recognition (ASR) system, such as 1-best hypotheses, as input features to a large language model (LLM). Finally, we explore a multimodal system that combines acoustic and lexical features, as well as ASR decoder signals in an LLM. Using multimodal information yields relative equal-error-rate improvements over text-only and audio-only models of up to 39% and 61%. Increasing the size of the LLM and training with low-rank adaption leads to further relative EER reductions of up to 18% on our dataset.