CASPER: A Large Scale Spontaneous Speech Dataset

📄 arXiv: 2506.00267v3 📥 PDF

作者: Cihan Xiao, Ruixing Liang, Xiangyu Zhang, Mehmet Emre Tiryaki, Veronica Bae, Lavanya Shankar, Rong Yang, Ethan Poon, Emmanuel Dupoux, Sanjeev Khudanpur, Leibny Paola Garcia Perera

分类: cs.CL, cs.SD, eess.AS

发布日期: 2025-05-30 (更新: 2025-06-11)

💡 一句话要点

提出CASPER数据集以解决自发语音数据稀缺问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自发语音数据 自然对话 语音处理 数据集构建 人机交互 语音识别

📋 核心要点

  1. 现有语音数据集大多包含脚本对话，缺乏高质量的自发语音数据，限制了语音处理技术的发展。
  2. 本文提出了一种新颖的引导和录制自然对话的流程，旨在收集多样化和真实的自发语音数据。
  3. 数据集包含100多个小时的自发语音，提供了一个可重复的框架，促进了未来的研究和数据收集。

📝 摘要（中文）

随着大型语言模型的成功，开发类似的语音处理能力引起了广泛关注。然而，自发语音数据的稀缺性是一个关键挑战，因为现有数据集大多包含脚本对话。为了解决这一问题，本文提出了一种新颖的自然对话引导和录制流程，并发布了包含100多个小时自发语音的数据集。该方法促进了流畅自然的对话，鼓励多样化的话题和互动交流。与传统方法不同，它促进了真实的互动，为未来的数据收集提供了可重复的框架。本文介绍了我们的数据集和方法，为解决自发语音数据短缺奠定了基础。我们计划在未来阶段扩展该数据集，为研究社区提供不断增长的资源。

🔬 方法详解

问题定义：本研究旨在解决自发语音数据稀缺的问题。现有方法主要依赖于脚本对话，无法捕捉自然交流的复杂性和多样性。

核心思路：论文提出了一种新颖的自然对话引导和录制流程，通过鼓励真实互动来收集自发语音数据。这种设计旨在提高数据的自然性和多样性。

技术框架：整体架构包括对话引导、录制和数据处理三个主要模块。首先，通过特定的引导问题激发参与者的自然对话，然后进行录制，最后对数据进行整理和标注。

关键创新：最重要的技术创新在于引导和录制自然对话的流程，区别于传统的脚本对话方法，能够更好地捕捉真实的交流场景。

关键设计：在数据收集过程中，设置了多样化的话题和互动形式，确保参与者能够自由表达，采用了高质量的录音设备以保证音频质量。

📊 实验亮点

实验结果表明，CASPER数据集的自发语音在多样性和自然性上显著优于传统脚本对话数据集，为语音处理模型的训练提供了更为丰富的语料，提升了模型在真实场景下的表现。

🎯 应用场景

该研究的潜在应用领域包括语音识别、对话系统和人机交互等。自发语音数据的丰富性将推动相关技术的发展，提升语音处理系统的自然性和准确性，具有重要的实际价值和未来影响。

📄 摘要（原文）

The success of large language models has driven interest in developing similar speech processing capabilities. However, a key challenge is the scarcity of high-quality spontaneous speech data, as most existing datasets contain scripted dialogues. To address this, we present a novel pipeline for eliciting and recording natural dialogues and release our dataset with 100+ hours of spontaneous speech. Our approach fosters fluid, natural conversations while encouraging a diverse range of topics and interactive exchanges. Unlike traditional methods, it facilitates genuine interactions, providing a reproducible framework for future data collection. This paper introduces our dataset and methodology, laying the groundwork for addressing the shortage of spontaneous speech data. We plan to expand this dataset in future stages, offering a growing resource for the research community.