A Novel Data Augmentation Approach for Automatic Speaking Assessment on Opinion Expressions

📄 arXiv: 2506.04077v2 📥 PDF

作者: Chung-Chun Wang, Jhen-Ke Lin, Hao-Chien Lu, Hong-Yun Lin, Berlin Chen

分类: cs.CL, cs.SD, eess.AS

发布日期: 2025-06-04 (更新: 2025-09-11)

备注: submitted to the ISCA SLaTE-2025 Workshop

💡 一句话要点

提出一种新颖的数据增强方法以解决自动口语评估中的数据稀缺问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动口语评估 数据增强 多模态学习 动态重要性损失 大型语言模型 语音合成 特征融合

📋 核心要点

  1. 现有的自动口语评估方法在意见表达上受到标记数据稀缺的限制，导致响应多样性不足和评分可靠性降低。
  2. 本文提出了一种新颖的训练范式，利用大型语言模型生成多样化的响应，并通过动态重要性损失优化训练过程。
  3. 在LTTC数据集上的实验表明，该方法显著优于传统依赖真实数据的评估方法，有效提升了评估的准确性和可靠性。

📝 摘要（中文）

自动口语评估（ASA）在意见表达方面常常受到标记录音稀缺的限制，这影响了响应的多样性并削弱了评分的可靠性。为了解决这一挑战，本文提出了一种新颖的训练范式，利用大型语言模型（LLM）生成特定熟练度水平的多样化响应，通过说话者感知的文本到语音合成将响应转换为合成语音，并采用动态重要性损失根据合成语音与真实语音之间的特征分布差异自适应地重新加权训练实例。随后，采用多模态大型语言模型将对齐的文本特征与语音信号结合，直接预测熟练度评分。实验结果表明，该方法在LTTC数据集上优于依赖真实数据或传统增强的方法，有效缓解了低资源限制，并实现了基于跨模态信息的意见表达ASA。

🔬 方法详解

问题定义：本文旨在解决自动口语评估中由于标记录音稀缺而导致的响应多样性不足和评分可靠性低的问题。现有方法往往依赖于有限的真实数据，难以满足多样化评估的需求。

核心思路：论文的核心思路是利用大型语言模型生成多样化的口语响应，并通过合成语音与真实语音的对比，动态调整训练样本的重要性，从而提升模型的评估能力。

技术框架：整体架构包括三个主要模块：首先，使用大型语言模型生成特定熟练度的文本响应；其次，通过说话者感知的文本到语音合成将文本转换为语音；最后，利用多模态大型语言模型将文本特征与语音信号结合，进行熟练度评分预测。

关键创新：最重要的技术创新在于动态重要性损失的引入，使得模型能够根据合成语音与真实语音的特征分布差异自适应地调整训练样本的权重，从而提高评估的准确性。

关键设计：在损失函数设计上，采用动态重要性损失以优化训练过程，确保模型在不同特征分布下的学习效果。同时，网络结构结合了多模态特征提取和融合技术，以增强模型对跨模态信息的理解能力。

📊 实验亮点

实验结果显示，所提出的方法在LTTC数据集上的表现优于传统依赖真实数据的方法，具体提升幅度达到XX%，有效缓解了低资源环境下的评估挑战。与基线方法相比，模型的评分准确率显著提高，展示了跨模态信息融合的有效性。

🎯 应用场景

该研究的潜在应用领域包括教育技术、语言学习平台以及自动评分系统等。通过提高自动口语评估的准确性和可靠性，该方法能够为学习者提供更为个性化的反馈，促进语言学习的效果。此外，未来可能在其他需要语音评估的场景中得到应用，如客服质量评估和语音助手的性能评估等。

📄 摘要（原文）

Automated speaking assessment (ASA) on opinion expressions is often hampered by the scarcity of labeled recordings, which restricts prompt diversity and undermines scoring reliability. To address this challenge, we propose a novel training paradigm that leverages a large language models (LLM) to generate diverse responses of a given proficiency level, converts responses into synthesized speech via speaker-aware text-to-speech synthesis, and employs a dynamic importance loss to adaptively reweight training instances based on feature distribution differences between synthesized and real speech. Subsequently, a multimodal large language model integrates aligned textual features with speech signals to predict proficiency scores directly. Experiments conducted on the LTTC dataset show that our approach outperforms methods relying on real data or conventional augmentation, effectively mitigating low-resource constraints and enabling ASA on opinion expressions with cross-modal information.