InterPruner: Interactive Structured Pruning via Taylor-Implicit Criterion and Language-Prior Modulator for Multimodal Object Detection

📄 arXiv: 2608.10724v1 📥 PDF

作者: Qi Ming, Zihan Yang, Shaoguang Huang, Si Sun, Hanqing Zhang, Nanqing Liu, Jiahui Lv, Juan Fang, Aleksandra Pizurica

分类: cs.CV

发布日期: 2026-08-11

💡 一句话要点

提出InterPruner以解决RGB-红外多模态目标检测中的通道冗余问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态目标检测 通道剪枝 RGB-红外 泰勒隐式标准 模态交互 动态场景 语言先验 计算机视觉

📋 核心要点

  1. 现有的通道剪枝方法主要针对单模态网络，未能有效处理RGB-红外多模态目标检测中的通道冗余和动态场景变化。
  2. 本文提出InterPruner，通过泰勒隐式标准和模态交互冗余分析，结合语言先验动态估计通道重要性，优化多模态目标检测。
  3. 在RGB-红外目标检测数据集上，InterPruner在剪枝50%通道的情况下，仍能保持高性能，mAP提升0.6%。

📝 摘要（中文）

多模态目标检测在遥感领域表现出色，尤其是RGB-红外模式。然而，现有的通道剪枝方法主要针对单模态骨干网络，未能考虑跨模态交互和动态场景冗余。本文提出了InterPruner，这是首个针对RGB-红外目标检测的交互式结构化通道剪枝框架。我们首先通过高阶泰勒展开和隐函数定理推导出泰勒隐式标准（TIC），以量化通道重要性。然后，模态交互冗余分析器（MIRA）通过互补性评估识别冗余通道。最后，场景先验通道锚（SPCA）利用语言先验作为语义锚点，测量通道与场景的相关性，以动态估计通道重要性。实验结果表明，InterPruner在剪枝50%通道的情况下，FLIR数据集的mAP甚至提升了0.6%。

🔬 方法详解

问题定义：本文旨在解决RGB-红外多模态目标检测中的通道冗余问题，现有方法未能考虑跨模态交互和动态场景冗余，导致计算效率低下。

核心思路：提出InterPruner框架，通过泰勒隐式标准量化通道重要性，结合模态交互冗余分析和语言先验，动态评估通道与场景的相关性，从而实现高效剪枝。

技术框架：InterPruner框架包含三个主要模块：1) 泰勒隐式标准（TIC）用于通道重要性量化；2) 模态交互冗余分析器（MIRA）识别冗余通道；3) 场景先验通道锚（SPCA）利用语言先验进行动态通道重要性估计。

关键创新：本研究的创新点在于首次将交互式结构化通道剪枝应用于RGB-红外目标检测，考虑了跨模态交互和动态场景变化，显著提升了剪枝效果。

关键设计：在设计中，使用高阶泰勒展开和隐函数定理构建TIC，MIRA通过互补性评估识别冗余通道，SPCA则利用语言先验作为语义锚点，确保通道与场景的相关性评估准确。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在RGB-红外目标检测的实验中，InterPruner在剪枝50%通道的情况下，仍保持高性能，mAP提升0.6%，显示出其在减少计算冗余方面的有效性。与现有方法相比，InterPruner在处理多模态数据时表现出更优的性能和效率。

🎯 应用场景

该研究的潜在应用领域包括遥感图像分析、无人驾驶汽车的环境感知以及安全监控等。通过优化多模态目标检测的效率，InterPruner能够在实际应用中显著降低计算资源消耗，提高实时处理能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Multimodal object detection proves effective in remote sensing, especially the RGB-Infrared paradigm. The parallel feature extractors provide rich multimodal information for robust detection, yet introduce substantial channel redundancy and computational overhead. Existing pruning methods can reduce channel redundancy, but they are designed for unimodal backbones, overlooking cross-modal interactions and dynamic scene-wise redundancy. In this paper, we propose InterPruner, the first interactive structured channel pruning framework for RGB-infrared object detectors. Specifically, we first derive a Taylor-Implicit Criterion(TIC) to quantify channel importance via high-order Taylor expansion and the implicit function theorem. Then, a Modality Interaction Redundancy Analyzer (MIRA) identifies redundant channels via mutual compensability assessment. Finally, a Scene-Prior Channel Anchor (SPCA) uses language priors as semantic anchors to measure channel-scene relevance for dynamic channel importance estimation. Cross-modality channel pruning for RGB-Infrared detection is yet unexplored. Extensive experiments on RGB-infrared object detection dataset demonstrate that InterPruner maintains high performance with negligible degradation. Specifically, it even achieves a 0.6% mAP increase on the FLIR dataset when pruning 50% of the channels. Code will be available on GitHub to facilitate future work.