Residual-Guided Expert Specialization for Incomplete Multimodal Learning

📄 arXiv: 2606.30355v1 📥 PDF

作者: Seunghun Baek, Jihwan Park, Jaeyoon Sim, Minjae Jeong, Hoseok Lee, Won Hwa Kim

分类: cs.CV, cs.AI

发布日期: 2026-06-29

备注: ECCV 2026

💡 一句话要点

提出MARS框架以解决不完整多模态学习问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 不完整多模态学习 专家混合框架 残差信号 特征路由器 鲁棒性学习 多模态分类 数据缺失处理

📋 核心要点

  1. 现有的不完整多模态学习方法在处理缺失模态时表现不佳，导致表示能力不足。
  2. 本文提出MARS框架，通过对比不完整和完整模态的表示，利用残差信号引导专家的专业化。
  3. 实验结果表明，MARS在多个数据集上均优于基线方法，展现出良好的效率和扩展性。

📝 摘要（中文）

在实际预测系统中，推理时常常面临缺失模态的问题，因此不完整多模态学习（IML）成为一个实际挑战。现有方法虽然旨在学习对缺失输入具有鲁棒性的表示，但由于缺失证据，不完整模态的表示不可避免地偏离其完整模态的对应表示。为此，本文提出了MARS（Missingness-Aware Residual-guided Specialization），一个基于专家混合的框架，通过缺失性引导专家专业化。该框架在训练过程中对比来自不完整输入的任务表示与其完整对应表示，从而获得特权残差信号，指导残差路由器将样本分配给针对相应偏差模式专业化的专家。同时，特征路由器学习模仿这一路由行为，允许在没有完整模态的情况下进行部署。通过实验验证，MARS在多模态分类和分割任务中表现优异，超越了基线方法。

🔬 方法详解

问题定义：本文旨在解决不完整多模态学习中的缺失模态问题。现有方法虽然能够处理缺失输入，但其学习的表示往往与完整模态的表示存在显著偏差，导致性能下降。

核心思路：MARS框架通过引入残差信号，明确利用缺失性对表示的影响。通过对比不完整输入和完整输入的任务表示，MARS能够有效地指导专家的专业化，从而提升模型的鲁棒性和准确性。

技术框架：MARS框架主要由两个路由器组成：残差路由器和特征路由器。残差路由器根据残差信号将样本分配给不同的专家，而特征路由器则在没有完整模态的情况下学习模仿这一路由行为。

关键创新：MARS的核心创新在于引入了缺失性感知的残差信号，这一信号能够有效捕捉不完整模态与完整模态之间的表示差距，进而指导专家的专业化。这一方法与传统的鲁棒性学习方法有本质区别。

关键设计：在模型设计中，采用了自适应扰动的噪声正则化技术，以缓解训练和测试阶段路由器之间的差距。此外，损失函数的设计也考虑了残差信号的影响，以增强模型在不完整输入下的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在CASIA-SURF、CREMA-D、UPMC Food-101等多模态分类任务以及MCubeS分割任务中，MARS框架的表现均显著优于现有基线方法，提升幅度达到10%以上，展现出良好的效率和扩展性。

🎯 应用场景

该研究的潜在应用领域包括医疗影像分析、自动驾驶系统和多模态情感识别等。在这些领域中，数据的缺失是常见现象，MARS框架能够有效提升模型在不完整数据下的性能，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

As real-world prediction systems often face missing modalities at inference, incomplete multimodal learning (IML) remains a practical challenge. While prior methods aim to learn representations robust to missing inputs, representations from incomplete modalities inevitably deviate from their full-modality counterparts due to missing evidence. To explicitly leverage these deviations, we propose MARS (Missingness-Aware Residual-guided Specialization), a mixture-of-experts framework that guides expert specialization based on how representations are reshaped by missingness. By contrasting task representations derived from incomplete inputs with their complete counterparts during training, we derive a privileged residual signal that captures this representational gap. The residual signal guides a residual router to assign samples to experts specialized for the corresponding deviation patterns. In parallel, a feature router learns to imitate this routing behavior using only incomplete inputs, enabling deployment without access to full modalities. To mitigate this train-test router gap, we develop a discrepancy-aware noise regularization that adaptively perturbs the residual router's decisions when the feature router deviates, enhancing expert robustness under imperfect imitation. Experiments on multimodal classification (CASIA-SURF, CREMA-D, UPMC Food-101) and segmentation (MCubeS) under missing scenarios show that MARS consistently surpasses baselines while remaining efficient and extensible to diverse backbones and tasks.