Hölder++: Improving the Quality-Coherence Trade-off in Multimodal VAEs

📄 arXiv: 2606.13381 📥 PDF

作者: Huyen Vo, María Martínez-García, Isabel Valera

分类: cs.LG

发布日期: 2026-06-12

💡 一句话要点

提出Hölder++以改善多模态变分自编码器的生成质量与一致性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态变分自编码器 生成模型 Hölder池化 共享表示 私有表示 分层推理 生成质量 一致性

📋 核心要点

  1. 现有多模态变分自编码器在生成样本时面临质量与一致性的权衡，难以兼顾真实感与多样性。
  2. Hölder++通过无近似的Hölder池化、建模共享与私有表示以及分层推理来解决这一问题。
  3. 实验结果显示，Hölder++在生成质量与一致性方面均有显著提升，并且学习到的潜在空间更具结构性。

📝 摘要（中文）

现有的多模态变分自编码器（VAEs）在生成质量与一致性之间存在权衡，难以生成既真实又多样的样本，同时保持跨模态的语义一致性。近期研究表明，使用Hölder池化的简单近似方法可以改善一致性，但会稍微影响样本多样性。基于此，我们提出Hölder++，通过首次实现无近似的Hölder池化、扩展架构以建模共享与私有表示，以及分层推理来增强共享与私有表示之间的解耦，从而改善生成质量与一致性的权衡。实验结果表明，Hölder++在生成质量与一致性方面均有显著提升，且学习到的共享表示对下游任务具有更高的信息量。

🔬 方法详解

问题定义：本论文旨在解决现有多模态变分自编码器在生成样本时面临的质量与一致性之间的权衡问题。现有方法通常依赖于单一共享表示，导致生成样本的多样性受到影响。

核心思路：Hölder++的核心思路是通过无近似的Hölder池化来增强模态间的一致性，同时引入共享与私有表示的建模，确保生成样本的多样性和真实感。

技术框架：Hölder++的整体架构包括三个主要模块：无近似的Hölder池化模块、共享与私有表示建模模块，以及分层推理模块。这些模块协同工作以优化生成质量与一致性。

关键创新：Hölder++的主要创新在于首次实现了无近似的Hölder池化，并通过分层推理增强了共享与私有表示的解耦，这与现有方法的单一共享表示形成了本质区别。

关键设计：在关键设计上，Hölder++采用了特定的损失函数来平衡生成质量与一致性，同时在网络结构中引入了私有表示的建模，以便更好地捕捉模态特异性的信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Hölder++在生成质量与一致性方面均有显著提升，相较于SOTA MMVAE+，生成样本的多样性和语义一致性均得到了改善，具体性能提升幅度未知。

🎯 应用场景

Hölder++的研究成果在多模态生成任务中具有广泛的应用潜力，例如在图像与文本生成、视频理解以及跨模态检索等领域。其改进的生成质量与一致性能够为实际应用提供更高的可靠性和多样性，推动相关技术的发展与应用。

📄 摘要（原文）

Existing approaches for multimodal variational autoencoders (VAEs) face a trade-off between generative quality and coherence-i.e., they struggle to generate realistic and diverse samples that, at the same time, are semantically consistent across modalities. A recent work shows that using a simple approximation to Hölder pooling as an aggregation method improves coherence over the SOTA MMVAE+, despite assuming a single shared representation across all modalities. Yet, it slightly compromises sample diversity. Inspired by this insight, we propose Hölder++, a novel multimodal VAE that improves the generative quality-coherence trade-off through: (i) the first implementation of Hölder pooling without any approximation for multimodal VAEs; (ii) an extended architecture that models distinct shared and private (i.e., modality-specific) representations (Hölder+); and (iii) hierarchical inference that further enhances the disentanglement between the shared and private representations (Hölder++). Our experiments corroborate that Hölder++ consistently improves the generative quality-coherence trade-off, yields more structured latent spaces, and learns shared representations that are informative for downstream tasks.