Compass: Degradation-Simulated Reciprocal Learning with Lightweight Needle RWKV for Multimodal Crack Segmentation under Missing Modalities

📄 arXiv: 2608.03559v1 📥 PDF

作者: Hui Liu, Chen Jia, Fan Shi, Xu Cheng, Mianzhao Wang, Shengyong Chen

分类: cs.CV

发布日期: 2026-08-04

备注: This paper has been accepted by ACM MM 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出Compass以解决多模态裂缝分割中的缺失模态问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态裂缝分割 降级模拟蒸馏 轻量级网络 证据融合 特征补全 鲁棒性增强 工业监测

📋 核心要点

  1. 现有多模态裂缝分割方法在缺失模态情况下，难以维持像素级的语义完整性，导致性能下降。
  2. Compass通过降级模拟蒸馏、针状模块和证据拓扑保持融合，提出了一种轻量级的解决方案，能够在缺失模态下进行稳健的裂缝分割。
  3. 在CrackDepth数据集中，即使缺失90%的深度模态，Compass仍能实现F1值0.8216和mIoU值0.8434，且仅使用2.58M参数，展现出优异的性能。

📝 摘要（中文）

在工业设施的多模态裂缝分割中，关键挑战是防止缺失模态导致的像素级性能下降，同时保持低计算成本。现有方法难以应对缺失模态造成的语义退化。我们提出了Compass，这是一种轻量级网络，能够在任意缺失模态下实现稳健的裂缝分割。Compass包括降级模拟蒸馏（DSD）、针状模块和证据拓扑保持融合（ETPF）。DSD构建了一个降级模拟流，模拟更严重的缺失条件，并与原始流进行互相蒸馏，解耦完整感知与降级适应。在DSD中，特征感知原型传输器（FAPT）执行模态无关的原型引导特征补全，以在不完整模态条件下保持语义完整性。实验结果表明，在多种缺失模态场景下，Compass在三个数据集上实现了最先进的性能。

🔬 方法详解

问题定义：本论文旨在解决多模态裂缝分割中因缺失模态导致的性能下降问题。现有方法在处理缺失模态时，往往无法有效保持语义信息，导致分割结果不理想。

核心思路：Compass的核心思路是通过降级模拟蒸馏技术，模拟更为严重的缺失情况，并与完整模态进行互相蒸馏，从而实现对缺失模态的适应性增强。

技术框架：Compass的整体架构包括三个主要模块：降级模拟蒸馏（DSD）、针状模块和证据拓扑保持融合（ETPF）。DSD负责模拟缺失模态的影响并进行特征补全，针状模块则注入裂缝方向信息，ETPF则通过证据组合融合多模态特征。

关键创新：最重要的技术创新在于降级模拟蒸馏和证据拓扑保持融合的结合，前者通过模拟缺失情况增强模型的鲁棒性，后者则确保了裂缝拓扑结构的保留。

关键设计：在设计中，特征感知原型传输器（FAPT）用于模态无关的特征补全，针状模块结合了连接感知门控和各向异性上下文探测，以实现结构感知建模。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在CrackDepth数据集上，Compass在缺失90%深度模态的情况下，仍然实现了F1值0.8216和mIoU值0.8434，展现出优于现有方法的性能，且模型参数仅为2.58M，显示出其轻量级的优势。

🎯 应用场景

该研究的潜在应用领域包括工业设施的安全监测与维护，尤其是在裂缝检测和评估方面。通过提高多模态数据的利用效率，Compass能够在实际应用中显著提升裂缝分割的准确性和鲁棒性，具有重要的实际价值和未来影响。

📄 摘要（原文）

In multimodal crack segmentation for industrial facilities, the key challenge is preventing missing modalities from degrading pixel-level performance while maintaining low computational cost. Existing methods struggle to address semantic degradation caused by missing modalities. We propose Compass, a lightweight network for robust crack segmentation under arbitrary missing modalities. Compass comprises Degradation Simulation Distillation (DSD), Needle Block, and Evidential Topology-Preserving Fusion (ETPF). DSD constructs a degradation simulation stream that mimics more severe missing conditions and performs reciprocal distillation with the original stream, decoupling complete perception from degradation adaptation. Within DSD, Feature-Aware Prototype Transmitter (FAPT) performs modality agnostic prototype-guided feature completion to maintain semantic integrity under incomplete modality conditions. As a lightweight backbone, Needle injects crack-direction cues into WKV modulation and combines connectivity-aware gating with anisotropic context probing for structure-aware modeling. ETPF fuses multimodal features via Dempster-Shafer evidential combination with uncertainty-gated decoding, preserving crack topology while suppressing unreliable features. Experiments on three datasets demonstrate state-of-the-art (SOTA) performance under diverse missing modality scenarios. Even with 90\% depth modality missing on CrackDepth, Compass achieves F1 of 0.8216 and mIoU of 0.8434 with only 2.58M parameters. The code is available at https://github.com/Karl1109/Compass.