Multimodal Informative ViT: Information Aggregation and Distribution for Hyperspectral and LiDAR Classification

📄 arXiv: 2401.03179v2 📥 PDF

作者: Jiaqing Zhang, Jie Lei, Weiying Xie, Geng Yang, Daixun Li, Yunsong Li

分类: cs.CV

发布日期: 2024-01-06 (更新: 2024-01-23)

🔗 代码/项目: GITHUB

💡 一句话要点

提出多模态信息聚合分配机制以解决土地覆盖分类中的冗余问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 信息聚合 土地覆盖分类 深度学习 Transformer 遥感技术 冗余信息处理

📋 核心要点

  1. 现有多模态土地覆盖分类方法面临数据冗余问题，导致信息整合效率低下。
  2. 本文提出MIVit，通过信息聚合和分配机制有效减少冗余，提升特征融合效果。
  3. MIVit在三个多模态数据集上实现了95.56%的平均准确率，显著优于现有方法。

📝 摘要（中文）

在多模态土地覆盖分类（MLCC）中，数据分布的冗余性是一个常见挑战，多个模态中的无关信息会妨碍其独特特征的有效整合。为此，本文提出了多模态信息聚合分配机制（MIVit），通过创新的信息聚合-分配机制重新定义冗余水平，并将性能感知元素整合到融合表示中，促进语义的前向和后向学习。MIVit通过定向注意力融合（OAF）提取模态间的浅层局部特征，并利用Transformer特征提取器提取深层全局特征。实验结果表明，MIVit在三个多模态数据集上的平均整体准确率达到95.56%，超越了当前最先进的MLCC方法。

🔬 方法详解

问题定义：本文旨在解决多模态土地覆盖分类中的数据冗余问题，现有方法在整合多模态特征时常受到无关信息的干扰，影响分类性能。

核心思路：MIVit通过创新的信息聚合-分配机制，重新定义冗余水平，并引入性能感知元素，促进多模态特征的有效融合与学习。

技术框架：MIVit的整体架构包括定向注意力融合（OAF）模块用于提取浅层局部特征，以及Transformer特征提取器用于提取深层全局特征。此外，信息聚合约束（IAC）用于去除冗余信息，信息分配流（IDF）则增强了性能感知。

关键创新：MIVit的主要创新在于其双向聚合-分配机制，显著降低了模态间的冗余，提升了特征融合的有效性，与传统方法相比具有本质区别。

关键设计：在设计中，MIVit采用了基于互信息的信息聚合约束，确保保留互补信息，同时引入轻量级独立模态分类器以应对缺失模态问题，降低了计算负担。具体的损失函数和网络结构设计也经过优化，以提升整体性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MIVit在三个多模态数据集上实现了95.56%的平均整体准确率，显著超越了当前最先进的MLCC方法，展示了其在减少冗余和提升分类性能方面的有效性。

🎯 应用场景

该研究在遥感图像分析、环境监测和城市规划等领域具有广泛的应用潜力。通过有效整合多模态数据，MIVit能够提升土地覆盖分类的准确性，为相关决策提供更可靠的支持，未来可能推动智能城市和可持续发展项目的实施。

📄 摘要（原文）

In multimodal land cover classification (MLCC), a common challenge is the redundancy in data distribution, where irrelevant information from multiple modalities can hinder the effective integration of their unique features. To tackle this, we introduce the Multimodal Informative Vit (MIVit), a system with an innovative information aggregate-distributing mechanism. This approach redefines redundancy levels and integrates performance-aware elements into the fused representation, facilitating the learning of semantics in both forward and backward directions. MIVit stands out by significantly reducing redundancy in the empirical distribution of each modality's separate and fused features. It employs oriented attention fusion (OAF) for extracting shallow local features across modalities in horizontal and vertical dimensions, and a Transformer feature extractor for extracting deep global features through long-range attention. We also propose an information aggregation constraint (IAC) based on mutual information, designed to remove redundant information and preserve complementary information within embedded features. Additionally, the information distribution flow (IDF) in MIVit enhances performance-awareness by distributing global classification information across different modalities' feature maps. This architecture also addresses missing modality challenges with lightweight independent modality classifiers, reducing the computational load typically associated with Transformers. Our results show that MIVit's bidirectional aggregate-distributing mechanism between modalities is highly effective, achieving an average overall accuracy of 95.56% across three multimodal datasets. This performance surpasses current state-of-the-art methods in MLCC. The code for MIVit is accessible at https://github.com/icey-zhang/MIViT.