Learning Behaviorally Relevant Dynamics in Multimodal Neural Recordings

📄 arXiv: 2611.05167v1 📥 PDF

作者: Parastoo Azizeddin, Eray Erturk, Maryam M. Shanechi

分类: cs.AI, cs.LG, cs.NE

发布日期: 2026-11-03

💡 一句话要点

提出BREM-NET以解决多模态神经数据分析问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 神经动态 行为解码 非线性模型 神经科学 机器学习 脑机接口

📋 核心要点

  1. 现有的神经-行为模型通常依赖单一模态，未能充分利用多模态数据的互补优势，导致对大脑动态的理解不够全面。
  2. BREM-NET通过非线性多模态动态模型，将行为与多种具有不同统计特征和时间分辨率的神经模态结合，进行有效的神经融合。
  3. 在公共的非人类灵长类动物数据集中，BREM-NET在行为解码和神经预测方面表现优越，能够有效分离不同类型的神经动态。

📝 摘要（中文）

多模态神经数据能够更全面地理解大脑动态与行为之间的关系。现有的神经-行为模型通常依赖单一神经模态，未能充分利用多模态数据的互补优势。本文提出BREM-NET，一个非线性多模态动态模型，能够在推理过程中进行多模态神经融合，并通过结构化学习框架分离行为相关和残余神经动态。在一项公共的非人类灵长类动物数据集中，BREM-NET在2D到达任务中有效分离了尖峰活动和局部场电位的动态，表现出更好的行为解码和神经预测能力，并在神经模态异步或丢失的情况下保持这些能力。这一框架为研究跨时空尺度的行为相关神经计算提供了新工具。

🔬 方法详解

问题定义：本文旨在解决现有神经-行为模型依赖单一模态的问题，导致对大脑动态的理解不足，尤其是在多模态数据的分析中存在的挑战。

核心思路：BREM-NET的核心思路是通过非线性多模态动态模型，将行为与多种神经模态结合，利用其互补优势进行有效的神经融合，从而提高对大脑动态的理解。

技术框架：BREM-NET的整体架构包括多个模块，首先进行多模态数据的预处理，然后通过结构化学习框架进行神经动态的分离与融合，最后实现行为解码与神经预测。

关键创新：BREM-NET的主要创新在于其能够在推理过程中进行多模态神经融合，并有效分离行为相关和残余神经动态，这在现有方法中是未曾实现的。

关键设计：在网络结构上，BREM-NET采用了特定的损失函数来优化行为解码和神经预测的性能，同时设计了适应不同神经模态的参数设置，以应对异步或丢失的情况。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，BREM-NET在公共非人类灵长类动物数据集上表现出色，成功分离尖峰活动和局部场电位动态，行为解码和神经预测的性能均显著提升，尤其在神经模态异步或丢失的情况下，仍能保持较高的准确性。

🎯 应用场景

该研究的潜在应用领域包括神经科学、脑机接口和行为预测等。通过更全面地理解大脑动态与行为之间的关系，BREM-NET有助于推动相关领域的研究进展，并可能在临床应用中改善对神经疾病的诊断与治疗。

📄 摘要（原文）

Multimodal neural data can enable a more complete understanding of brain dynamics underlying behavior. Modalities such as spiking activity, local field potentials (LFPs), and behavior capture diverse spatiotemporal aspects of brain processes, yet prior neural-behavioral models that separate sources of variability rely on a single neural modality. By leveraging these complementary strengths, multimodal neural fusion can provide a unified, rich representation of brain-behavior processes and address the limitations of single-modality analyses. Here we develop BREM-NET, a nonlinear multimodal dynamical model that integrates behavior with multiple neural modalities having distinct statistical characteristics and temporal resolutions. BREM-NET performs multimodal neural fusion during inference while separating behaviorally relevant and residual neural dynamics via a structured learning framework. In a public multimodal non-human primate dataset with simultaneous spiking and local field potential recordings during a 2D reaching task, BREM-NET separates these two types of dynamics and learns them more accurately, as reflected in better behavior decoding, better neural prediction, and stronger latent alignment with behavior, and it retains these capabilities when neural modalities are asynchronous or suffer dropouts, which are major challenges in real-world recordings. This framework provides a new tool for studying behaviorally relevant neural computations across spatiotemporal scales of brain activity.