Hellinger Multimodal Variational Autoencoders

📄 arXiv: 2601.06572 📥 PDF

作者: Huyen Vo, Isabel Valera

分类: cs.LG, cs.AI

发布日期: 2026-06-12

💡 一句话要点

提出Hellinger多模态变分自编码器以提升生成学习效果

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态变分自编码器 生成学习 Hellinger近似 潜在表示 优化方法

📋 核心要点

  1. 现有多模态变分自编码器方法在联合后验近似中依赖专家组合，存在效率低下和生成质量不佳的问题。
  2. 本文提出HELVAE模型，通过Hellinger近似优化多模态推断，避免了子采样，提高了模型的效率和表现力。
  3. 实验结果表明，HELVAE在生成一致性和质量上均优于现有的多模态VAE模型，展示了其有效性。

📝 摘要（中文）

多模态变分自编码器（VAEs）在弱监督生成学习中广泛应用，现有方法通过专家组合来近似联合后验。本文重新审视多模态推断，采用基于优化的概率意见聚合方法，从Hölder聚合出发，推导出一种称为Hellinger的矩匹配近似。基于此近似，提出了HELVAE模型，该模型避免了子采样，能够有效学习更具表现力的潜在表示，并在生成一致性和质量之间实现更好的权衡，超越了现有的多模态VAE模型。

🔬 方法详解

问题定义：本文旨在解决现有多模态变分自编码器在联合后验近似中效率低下和生成质量不佳的问题。现有方法主要依赖专家组合，导致模型在处理多模态数据时表现不佳。

核心思路：论文提出的HELVAE模型通过Hellinger近似来优化多模态推断，避免了传统方法中的子采样过程，从而提高了模型的效率和潜在表示的表现力。

技术框架：HELVAE模型的整体架构包括输入多模态数据、应用Hellinger近似进行推断、生成潜在表示以及输出生成样本。模型通过优化损失函数来实现多模态数据的有效融合。

关键创新：最重要的技术创新在于引入Hellinger近似作为多模态推断的基础，区别于传统的专家组合方法，使得模型在生成一致性和质量上有显著提升。

关键设计：HELVAE模型的关键设计包括使用Hölder聚合的参数设置，损失函数的优化策略，以及网络结构的设计，以确保模型在处理多模态数据时的高效性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，HELVAE模型在生成一致性和质量上均优于现有的多模态VAE模型，具体表现为在多个基准数据集上取得了显著的性能提升，尤其是在生成样本的多样性和真实感方面。

🎯 应用场景

该研究的潜在应用领域包括图像生成、文本生成以及多模态数据分析等。HELVAE模型能够有效处理不同模态的数据，具有广泛的实际价值，未来可能在智能生成系统和人机交互等领域产生深远影响。

📄 摘要（原文）

Multimodal variational autoencoders (VAEs) are widely used for weakly supervised generative learning with multiple modalities. Predominant methods aggregate unimodal inference distributions using either a product of experts (PoE), a mixture of experts (MoE), or their combinations to approximate the joint posterior. In this work, we revisit multimodal inference through the lens of probabilistic opinion pooling, an optimization-based approach. We start from Hölder pooling with $\alpha=0.5$, which corresponds to the unique symmetric member of the $\alpha\text{-divergence}$ family, and derive a moment-matching approximation, termed Hellinger. We then leverage such an approximation to propose HELVAE, a multimodal VAE that avoids sub-sampling, yielding an efficient yet effective model that: (i) learns more expressive latent representations as additional modalities are observed; and (ii) empirically achieves better trade-offs between generative coherence and quality, outperforming state-of-the-art multimodal VAE models.