When Does Quality-Aware Multimodal Fusion Matter? A Leakage-Safe Diagnostic for Decision-Level Dependence

📄 arXiv: 2606.26473v1 📥 PDF

作者: Jaden Moon, Arvind Pillai, Andrew Campbell

分类: cs.LG, eess.AS

发布日期: 2026-06-25

备注: Accepted to INTERSPEECH 2026. 5 pages, 1 figure, 5 tables

💡 一句话要点

提出泄漏安全诊断方法以评估多模态融合中的质量感知重要性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 可靠性评分 模型决策 情感分析 压力识别 实验诊断 性能评估

📋 核心要点

  1. 现有多模态系统在决策时未能明确区分可靠性评分对模型决策的影响，导致性能评估不准确。
  2. 本文提出了一种通过置换可靠性评分来检测其对模型决策影响的简单诊断方法，确保模型在推理时的可靠性信息使用。
  3. 在StressID和CMU-MOSEI数据集上的实验结果表明，置换可靠性评分后性能未受影响，表明现有方法在某些情况下未能有效利用可靠性信息。

📝 摘要（中文）

许多多模态系统通过估计每种模态的可靠性来加权其对最终预测的贡献。然而，尚不清楚这些评分是否影响模型决策或仅与性能相关。本文提出了一种简单的诊断方法来测试推理过程中是否使用了可靠性信息。在训练后，模型和输入固定，同时在测试示例中对可靠性评分进行置换。如果预测依赖于这些评分，性能应会下降。在StressID和CMU-MOSEI的实验中，尽管选择最佳模态的潜在收益显著，但置换可靠性评分后性能保持不变。在正向对照中，当可靠性信号能够识别正确模态时，相同的融合规则显著提高了性能，表明可靠性信号仅在可靠预测单模态正确性时影响融合决策。

🔬 方法详解

问题定义：本文旨在解决多模态系统中可靠性评分对决策影响的不确定性，现有方法未能有效评估这一点，导致对模型性能的误解。

核心思路：提出了一种通过在推理阶段置换可靠性评分的方式，来检验这些评分是否在模型决策中发挥作用。若评分影响决策，性能应随之下降。

技术框架：整体流程包括训练阶段和推理阶段。在训练阶段，模型学习如何根据输入和模态的可靠性评分进行融合；在推理阶段，固定模型和输入，随机置换可靠性评分进行测试。

关键创新：本研究的创新在于提出了一种简单而有效的诊断工具，能够明确区分可靠性评分对决策的影响，填补了现有研究的空白。

关键设计：在实验中，使用了StressID和CMU-MOSEI数据集，设计了正向对照实验以验证可靠性信号的有效性，确保了实验的严谨性和结果的可靠性。通过这种设计，能够清晰地观察到可靠性信号在不同情境下的作用。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，在StressID和CMU-MOSEI数据集上，置换可靠性评分后模型性能未发生显著变化，表明现有多模态融合方法未能有效利用可靠性信息。在正向对照实验中，使用可靠性信号识别正确模态时，模型性能显著提升，验证了可靠性信号在特定条件下的有效性。

🎯 应用场景

该研究的潜在应用领域包括情感分析、压力识别等多模态任务，能够帮助研究人员更好地理解和利用模态间的可靠性信息，从而提升模型的决策能力和性能。未来，随着多模态技术的发展，该方法可能会在更广泛的应用场景中得到推广，推动相关领域的进步。

📄 摘要（原文）

Many multimodal systems estimate the reliability of each modality and weight their contributions to the final prediction. However, it remains unclear whether these scores influence model decisions or merely correlate with performance. We propose a simple diagnostic to test whether reliability information is used during inference. After training, the model and inputs are fixed while reliability scores are permuted across test examples. If predictions depend on these scores, performance should degrade. Experiments on StressID for stress recognition and CMU-MOSEI for sentiment analysis show that permuting reliability scores leaves performance unchanged despite substantial potential gains from selecting the best modality per example. In positive controls where reliability signals identify the correct modality, the same frozen fusion rules yield significant improvements, indicating that reliability signals influence fused decisions only when they reliably predict unimodal correctness.