NeuroSonic: Conditional Flow Matching for EEG-to-Speech Reconstruction

📄 arXiv: 2606.24087v1 📥 PDF

作者: Wenhao Gao, Yifan Wang, Yijia Ma, Carl Yang, Wen Li, Chenyu You

分类: cs.LG

发布日期: 2026-06-23

备注: Accepted by MICCAI 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出NeuroSonic以解决EEG到语音重建的挑战

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 脑电图 语音重建 条件流匹配 深度学习 神经网络 信号处理 人机交互

📋 核心要点

  1. 现有方法在EEG到语音重建中面临波形回归不稳定和对个体差异敏感的问题。
  2. NeuroSonic通过学习确定性概率流速度场，避免了随机采样，提供了更稳定的重建过程。
  3. 在CineBrain和EAV基准测试中，NeuroSonic在感知质量上提升达26.3%，尤其在伪影重的片段中表现突出。

📝 摘要（中文）

从头皮脑电图（EEG）重建连续语音仍然是一个根本性挑战。EEG提供了分布式皮层活动的弱、空间扩散且高度可变的测量，而语音则组织为具有强和声和时间结构的连贯声学轨迹。这种不匹配使得波形回归不稳定，并导致随机多步生成对伪影依赖的条件和个体差异敏感。我们提出了NeuroSonic，一种用于EEG到语音重建的条件流匹配框架。NeuroSonic学习一个确定性概率流速度场，将噪声污染的声学状态在EEG条件下传输到干净的语音。EEG和音频被嵌入到共享的标记空间，并通过时间条件门控Transformer进行处理，参数化传输常微分方程。该方法在CineBrain和EAV基准上进行评估，结果显示在分布现实性、谱保真度和感知质量上均优于代表性的GAN、扩散和均值流基线，整体感知质量提升达26.3%。

🔬 方法详解

问题定义：本论文旨在解决从EEG重建语音的挑战，现有方法在波形回归中表现不稳定，且对个体差异和伪影敏感。

核心思路：NeuroSonic的核心思路是通过学习一个确定性概率流速度场，将噪声污染的声学状态在EEG条件下有效地转化为清晰的语音，避免了随机采样的复杂性。

技术框架：该框架将EEG和音频嵌入到共享的标记空间，并使用时间条件的门控Transformer进行处理，参数化传输常微分方程，从而显式建模轨迹演变。

关键创新：NeuroSonic的主要创新在于其确定性条件传输的设计，这与传统的随机生成方法（如GAN和扩散模型）形成了鲜明对比，提供了更稳定的重建效果。

关键设计：在技术细节上，NeuroSonic使用了时间条件的门控Transformer，并设计了特定的损失函数来优化声学状态的传输过程，确保了模型的高效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，NeuroSonic在CineBrain和EAV基准测试中显著提升了感知质量，整体提升幅度达26.3%。在伪影重的片段中，NeuroSonic的表现尤为突出，显示出其在处理条件变异性方面的优势。

🎯 应用场景

该研究的潜在应用领域包括脑机接口、辅助沟通设备和神经康复等。通过将EEG信号转化为语音，NeuroSonic可以帮助有语言障碍的人士进行交流，提升他们的生活质量。未来，该技术可能在医疗、教育和人机交互等多个领域产生深远影响。

📄 摘要（原文）

Reconstructing continuous speech from scalp electroencephalography (EEG) remains fundamentally challenging. EEG provides a weak, spatially diffuse, and highly variable measurement of distributed cortical activity, whereas speech is organized as a coherent acoustic trajectory with strong harmonic and temporal structure. The resulting mismatch makes waveform regression unstable and causes stochastic multi-step generation to be sensitive to artifact-dependent conditioning and subject variability. We introduce NeuroSonic, a conditional flow-matching framework for EEG-to-speech reconstruction. Instead of predicting waveforms directly or refining them through stochastic denoising, NeuroSonic learns a deterministic probability-flow velocity field that transports a noise-corrupted acoustic state toward clean speech under EEG conditioning. EEG and audio are embedded into a shared token space and processed by a time-conditioned gated Transformer that parameterizes the transport ordinary differential equation. This formulation models trajectory evolution explicitly while avoiding iterative stochastic sampling. We evaluate NeuroSonic on the CineBrain and EAV benchmarks under cross-subject evaluation. Across both datasets, the proposed method improves distributional realism, spectral fidelity, and perceptual quality over representative GAN-, diffusion-, and mean-flow baselines, with up to a 26.3\% gain in overall perceptual quality. The performance gap is most evident in artifact-heavy segments, where conditioning variability is strongest. These findings indicate that deterministic conditional transport provides a stable and effective formulation for EEG-driven speech reconstruction. Code is available at https://github.com/Y-Research-SBU/NeuroSonic/ .