Fuse To Align: Multimodal Representation Learning for Retrieval via Hypergraph Regularization

📄 arXiv: 2611.03370v1 📥 PDF

作者: Anindya Nag, Ambuj Mehrish, Sebastiano Vascon

分类: cs.CV

发布日期: 2026-11-02

备注: 24 pages, 7 figures

💡 一句话要点

提出超图融合框架以解决多模态检索中的信息缺失问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态检索 超图融合 信息缺失 表示学习 视频理解 音频处理 关系传播

📋 核心要点

  1. 现有多模态检索方法在处理缺失、噪声或信息不均衡的视角时，容易导致检索表示学习受阻。
  2. 本文提出的超图融合框架能够在样本内外连接模态，促进信息交换，从而提升检索表示的学习效果。
  3. 在11个基准测试中，wRHG在所有比较中均优于GRAM，且在缺失模态评估下，仍保持正向提升。

📝 摘要（中文）

多模态检索需要整合来自不同视角的互补证据，但现有方法在样本提供有限可靠证据时，容易导致检索表示的学习受阻。本文提出了一种训练时超图融合框架，能够在样本内和样本间连接观察到的模态，从而允许表示学习利用超出单一样本的证据。该框架包括HyVol作为特例，并引入了两种配置：wHyVol学习视图贡献权重和对称语义亲和力，而wRHG则通过关系传播建模类型交互和参与者角色。实验结果表明，在11个零-shot视频-文本和音频-文本检索基准上，wRHG在所有34个比较中均优于GRAM，在33个比较中优于HyperGRAM。

🔬 方法详解

问题定义：本文旨在解决多模态检索中由于样本间信息缺失或不均衡导致的表示学习问题。现有方法往往仅依赖单一样本的模态，限制了信息的有效利用。

核心思路：提出了一种超图融合框架，通过在训练过程中连接样本内外的模态，促进信息的互换，从而增强表示学习的能力。该设计允许模型在推理时保持不变，避免了额外的推理成本。

技术框架：整体架构包括两个主要配置：wHyVol和wRHG。wHyVol专注于学习视图贡献权重和对称语义亲和力，而wRHG则进一步建模类型交互和参与者角色。超图在训练后被丢弃，确保推理阶段的高效性。

关键创新：最重要的创新在于通过超图结构实现了样本间的模态连接，突破了传统方法的局限，允许模型在缺失模态的情况下仍能有效学习。

关键设计：在模型设计中，采用了特定的损失函数来优化视图权重和语义亲和力，同时通过关系传播机制增强了样本间的交互效果。

📊 实验亮点

实验结果显示，wRHG在所有34个比较中均优于GRAM，并在33个比较中优于HyperGRAM。在文本到视频的检索中，R@1从63.4提升至68.2，而在视频到文本的检索中，最大增幅达到13.3个百分点，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括视频检索、音频检索及其他多模态数据处理任务。通过提升多模态检索的准确性和鲁棒性，该方法能够在实际应用中显著改善用户体验，推动智能搜索引擎和推荐系统的发展。

📄 摘要（原文）

Multimodal retrieval must integrate complementary evidence from views that may be missing, noisy, or unequally informative. When a sample provides limited reliable evidence, learning from its views alone can hinder the acquisition of useful retrieval representations. Semantically related training samples may provide complementary observations, yet existing volume-based objectives jointly align modalities within each sample without explicitly enabling information exchange across samples. We therefore propose a training-time hypergraph fusion framework that connects observed modalities both within samples and across semantically related samples, allowing representation learning to draw on evidence beyond an individual sample while leaving the retrieval pipeline unchanged at inference. The framework includes HyVol as a special case and introduces two configurations: wHyVol learns view contribution weights and symmetric semantic affinities, whereas wRHG additionally models typed interactions and participant roles through relational propagation. Missing modalities are omitted rather than imputed, and the hypergraph is discarded after training, incurring no additional inference cost. Experiments on eleven zero-shot video-text and audio-text retrieval benchmarks demonstrate broad improvements with both GRAM and HyperGRAM. Across 17 video benchmark-modality settings evaluated in both retrieval directions, wRHG outperforms GRAM in all 34 comparisons and HyperGRAM in 33 of 34. Mean text-to-video R@1 increases from 63.4 to 68.2 with GRAM and from 64.8 to 68.4 with HyperGRAM, while the largest video-to-text gain reaches 13.3 percentage points on ActivityNet. Under missing-modality evaluation, both weighted configurations retain positive text-to-video gains over GRAM across seven benchmarks at every evaluated missingness rate, even when 90% of clips lack one modality.