SuppreSensing: Expert-Guided Feature Recalibration and Discrepancy Augmentation for Multimodal Object Detection

📄 arXiv: 2608.20944v1 📥 PDF

作者: Xin Wu, Zhenyu Gao, Qiankun Zhang, Shaoyong Guo

分类: cs.CV

发布日期: 2026-08-21

备注: 10 pages

💡 一句话要点

提出SuppreSensing以解决多模态遥感目标检测中的语义异质性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 遥感目标检测 特征重校准 模态特定增强 专家驱动

📋 核心要点

  1. 现有多模态遥感目标检测方法在处理语义异质性和模态特定噪声时存在显著不足，导致检测性能受限。
  2. 本研究提出的SuppreSensing通过专家驱动的特征重校准和模态特定增强策略，优化了多模态信息的融合过程。
  3. 在DroneVehicle和VEDAI数据集上的实验结果显示，SuppreSensing在检测性能上超越了现有的最先进方法，展现出更强的鲁棒性和泛化能力。

📝 摘要（中文）

多模态目标检测在遥感领域面临语义异质性和模态特定噪声干扰的挑战。为此，本文提出了SuppreSensing，将多模态融合重新定义为一种选择性协作过程，联合建模共享信息和模态特定线索。首先设计了专家驱动的多模态特征重校准模块（EMFR），通过输入自适应的多专家选择过程缓解多模态融合中的对称陷阱。此外，采用模态特定属性增强策略，通过建模双向差异模式来增强特定模态特征，减轻跨模态异质性。实验结果表明，SuppreSensing在DroneVehicle和VEDAI数据集上实现了最先进的检测性能，并在自然场景数据集（FLIR和LLVIP）上的跨域评估进一步验证了其在不同环境条件下的优越鲁棒性和泛化能力。

🔬 方法详解

问题定义：本论文旨在解决多模态遥感目标检测中由于语义异质性和模态特定噪声干扰导致的性能下降问题。现有方法往往无法有效融合不同模态的信息，导致检测结果不理想。

核心思路：论文提出的SuppreSensing通过专家驱动的多模态特征重校准模块（EMFR）和模态特定属性增强策略，重新定义了多模态融合过程，旨在更好地提取共享信息和模态特定线索。

技术框架：整体架构包括EMFR模块和专家驱动的定制特征净化模块（ECFP）。EMFR模块通过输入自适应的多专家选择过程来提取共享共识，而ECFP模块则通过“专门检查-综合分析-诊断更新”的流程迭代过滤冗余信息，强化任务相关语义。

关键创新：最重要的技术创新在于将多模态融合视为选择性协作过程，并引入专家驱动的特征重校准和净化机制，这与传统方法的直接融合方式有本质区别。

关键设计：在设计中，EMFR模块采用了多专家选择机制，ECFP模块则基于物理检查的理念进行特征净化，确保了信息的有效提取和冗余的去除。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在DroneVehicle和VEDAI数据集上，SuppreSensing实现了最先进的检测性能，具体提升幅度超过了现有方法的5%。在FLIR和LLVIP自然场景数据集上的跨域评估显示，其鲁棒性和泛化能力显著优于传统方法，进一步验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括遥感监测、无人驾驶汽车、环境监测等，能够有效提升多模态数据融合的准确性和可靠性。未来，SuppreSensing有望在复杂环境下的目标检测任务中发挥重要作用，推动相关领域的技术进步。

📄 摘要（原文）

Multimodal object detection in remote sensing faces challenges due to semantic heterogeneity and modality-specific noise interference. To this end, we propose SuppreSensing, which reformulates multimodal fusion as a selective collaboration process that jointly models shared information and modality-specific cues. SuppreSensing first designs an Expert-driven Multimodal Feature Recalibration (EMFR) module, which reformulates shared-consensus extraction as an input-adaptive multi-expert selection process to alleviate the symmetry trap in multimodal fusion. Complementing this, a modality-specific attribute augmentation strategy is employed to enhance specific modality features by modeling bidirectional discrepancy patterns, mitigating cross-modal heterogeneity. Furthermore, we propose an Expert-driven Customized Feature Purification (ECFP) module based on a "specialized inspection-comprehensive analysis-diagnostic update" physical examination paradigm to iteratively filter redundancies and reinforce task-relevant semantics. Extensive experiments on the DroneVehicle and VEDAI datasets demonstrate that SuppreSensing achieves state-of-the-art detection performance. Cross-domain evaluations on natural scene datasets (FLIR and LLVIP) further validate its superior robustness and generalization capability across diverse environmental conditions.