Integrating Neural Encoders in Bayesian Generalized Linear Mixed Models for Multimodal Data

📄 arXiv: 2607.04647v1 📥 PDF

作者: Yuankang Zhao, Youngsoo Baek, Felipe A. Medeiros, Samuel Berchuck, Matthew M. Engelhard

分类: stat.ML, cs.LG, stat.CO

发布日期: 2026-07-06

备注: 21 pages, 5 figures

💡 一句话要点

提出神经编码器与贝叶斯广义线性混合模型结合以解决多模态数据分析问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 贝叶斯推断 广义线性混合模型 神经编码器 多模态数据 不确定性量化 纵向数据分析 个性化医疗

📋 核心要点

  1. 现有的可扩展贝叶斯推断方法在处理高维模态数据时存在局限，无法有效分析图像和文本等复杂数据。
  2. 本文提出通过联合学习模态特定的神经编码器与GLMM目标，进行变异校正的随机梯度MCMC推断。
  3. 实验结果显示，该方法在模拟研究中能够恢复后验均值和方差估计，并在实际应用中保持良好的预测性能。

📝 摘要（中文）

可扩展的贝叶斯推断方法用于广义线性混合模型（GLMMs），能够对相关的纵向数据进行不确定性分析。然而，现有方法主要假设低维表格预测变量，无法直接处理高维模态如图像和文本。本文通过与GLMM目标联合学习一个或多个模态特定的神经编码器，提出了一种新方法。该方法结合了监督表示学习与后验不确定性量化，能够有效评估个体和群体层面的效应。实验结果表明，该框架在青光眼进展和青少年心理健康的应用中，能够细致评估各模态的重要性，同时保持预测性能。

🔬 方法详解

问题定义：本文旨在解决现有可扩展贝叶斯推断方法在高维模态数据分析中的不足，特别是对图像和文本等复杂数据的处理能力有限。

核心思路：通过联合学习模态特定的神经编码器与GLMM目标，利用条件贝叶斯设计，结合监督表示学习与后验不确定性量化，提升模型对个体和群体效应的分析能力。

技术框架：整体架构包括神经编码器模块和GLMM推断模块。首先，输入多模态数据，通过神经编码器提取特征；然后，利用提取的特征进行GLMM参数的变异校正随机梯度MCMC推断。

关键创新：本研究的创新点在于将神经编码器与GLMM结合，形成了一种新的条件贝叶斯推断框架，能够有效处理高维模态数据，提升模型的解释性与预测能力。

关键设计：在模型设计中，采用了变异校正的随机梯度MCMC算法，确保后验分布的准确性；同时，针对不同模态设计了特定的损失函数，以优化特征学习过程。该方法在大规模纵向数据集上表现出良好的扩展性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，本文方法在模拟研究中成功恢复了后验均值和方差估计，且在青光眼进展和青少年心理健康的应用中，能够细致评估各模态的重要性，保持了良好的预测性能，显示出相较于基线方法的显著提升。

🎯 应用场景

该研究的潜在应用领域包括医疗健康（如青光眼进展监测）和心理健康（如青少年心理状态评估）。通过精细化分析不同模态对个体和群体效应的影响，能够为临床决策提供更为可靠的依据，未来可能推动个性化医疗的发展。

📄 摘要（原文）

Scalable Bayesian inference for generalized linear mixed models (GLMMs) provides uncertainty-aware analysis of correlated longitudinal data, but existing scalable approaches largely assume low-dimensional tabular predictors and do not directly accommodate high-dimensional modalities such as images and text. We address this limitation by learning one or more modality-specific neural encoders jointly with a GLMM objective, then performing variance-corrected stochasticgradient MCMC for the GLMM parameters conditional on the learned representation. This conditional-Bayes design combines supervised representation learning with posterior uncertainty quantification for population-level effects, subjectspecific heterogeneity, and modality-level random slopes. The resulting model preserves interpretable fixed and random effects for structured covariates and learned modalities while scaling gracefully to large longitudinal datasets. In simulation studies, our method recovers posterior means and variance estimates from full-data MCMC benchmarks after covariance correction. We further evaluate uncertainty through parameter-level interval coverage in simulations and predictive calibration on held-out data. Applications to glaucoma progression and adolescent mental health demonstrate that the framework allows nuanced assessment of the relative importance of each modality on both individual and population levels without sacrificing predictive performance.