Conformal Fusion Under Missing Modalities
作者: Alireza Moayedikia
分类: cs.LG
发布日期: 2026-08-07
💡 一句话要点
提出模态条件的保形融合以解决缺失模态问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态融合 模态缺失 置信度校准 保形融合 Dempster-Shafer理论 Dirichlet分布 鲁棒性
📋 核心要点
- 现有多模态融合方法假设所有模态在推理时均可用，未考虑模态缺失对模型置信度的影响。
- 本文提出模态条件的保形融合（MCCF），通过模态丢失训练和证据融合机制同时提高模态缺失鲁棒性和置信度校准。
- 在合成问题和三个真实多模态基准上，MCCF在每个模态存在子集上保持目标覆盖，显著缩小了全模态与部分模态之间的覆盖差距。
📝 摘要（中文）
多模态融合架构通常假设在推理时所有模态均可用，但传感器故障、获取变异和成本限制常导致观察不完整。现有研究将模态缺失视为预测准确性问题，未能回答模型的置信度估计在整个输入流缺失时是否仍然保持校准。本文提出模态条件的保形融合（MCCF）架构，旨在同时解决模态缺失的鲁棒性和校准的不确定性。MCCF结合了经过模态丢失训练的多模态瓶颈融合主干、生成模态分解的Dirichlet分布的每模态证据头，以及融合每模态证据的Dempster-Shafer组合规则。缺失模态的证据被结构性忽略，使得融合的不确定性自动反映信息的减少。通过模态存在掩码的Mondrian保形校准模块，MCCF为每个非空模态子集提供有限样本组条件覆盖。
🔬 方法详解
问题定义：本文解决的是在多模态融合中，模态缺失对模型置信度校准的影响。现有方法未能有效处理模态缺失，导致模型在缺失模态时的置信度估计不可靠。
核心思路：提出模态条件的保形融合（MCCF），通过结合模态丢失训练和证据融合机制，确保在模态缺失情况下模型的置信度仍然保持校准。
技术框架：MCCF架构包括三个主要模块：多模态瓶颈融合主干、每模态证据头和Dempster-Shafer组合规则。主干负责融合不同模态的信息，证据头生成模态分解的Dirichlet分布，而组合规则则将各模态证据融合为联合预测分布。
关键创新：MCCF是首个在任意模态可用性下提供形式覆盖保证的方法，通过架构集成而非后期重新校准来实现模态缺失的鲁棒性和置信度校准。
关键设计：MCCF采用模态丢失训练策略，设计了每模态证据头以生成Dirichlet分布，并使用Dempster-Shafer规则进行证据融合，确保缺失模态的证据被结构性忽略。
🖼️ 关键图片
📊 实验亮点
在合成问题和三个真实多模态基准上，MCCF在每个模态存在子集上保持目标覆盖，显著缩小了全模态与部分模态之间的覆盖差距，相较于边际分割保形基线，覆盖差距缩小幅度显著，并且在准确性上没有明显损失。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、医疗影像分析和智能监控等多模态系统。在这些领域中，传感器故障或数据缺失是常见问题，MCCF能够提高系统在不完整数据情况下的鲁棒性和可靠性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Multimodal fusion architectures typically assume all modalities are available at inference, yet sensor failures, acquisition variability, and cost constraints routinely produce incomplete observations. Existing work treats modality absence as a prediction-accuracy problem, leaving a more basic question unanswered: whether a model's confidence estimates remain calibrated when an entire input stream is removed. We argue that missing-modality robustness and calibrated uncertainty are a single coupled property, and introduce Modality-Conditioned Conformal Fusion (MCCF), an architecture that addresses both at once. MCCF combines a multimodal bottleneck fusion backbone trained with modality dropout, per-modality evidential heads producing modality-decomposed Dirichlet distributions, and a Dempster-Shafer combination rule that fuses the per-modality evidence into a joint predictive distribution; an absent modality contributes vacuous evidence that is structurally ignored, so the fused uncertainty automatically reflects the reduced information without test-time imputation. A Mondrian conformal calibration module keyed on the modality-presence mask then provides finite-sample group-conditional coverage for every non-empty modality subset. MCCF is, to our knowledge, the first method with formal coverage guarantees under arbitrary modality availability through architectural integration rather than post-hoc recalibration, and the evidential decomposition yields per-modality vacuity scores that localise uncertainty to the absent modality responsible. Across a synthetic problem and three real multimodal benchmarks, MCCF holds its target coverage on every modality-presence subset, substantially narrows the coverage gap between full and partial modalities relative to a marginal split-conformal baseline, and imposes no measurable accuracy cost relative to temperature-scaled and evidential baselines.