Toulouse Hyperspectral Data Set: a benchmark data set to assess semi-supervised spectral representation learning and pixel-wise classification techniques

📄 arXiv: 2311.08863v3 📥 PDF

作者: Romain Thoreau, Laurent Risser, Véronique Achard, Béatrice Berthelot, Xavier Briottet

分类: cs.CV

发布日期: 2023-11-15 (更新: 2024-03-25)

备注: 17 pages, 13 figures

💡 一句话要点

发布图卢兹高光谱数据集以评估半监督光谱表示学习与像素级分类技术

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 高光谱图像 半监督学习 自监督学习 数据集发布 像素级分类 遥感技术 机器学习

📋 核心要点

  1. 现有的高光谱数据集在地理覆盖、土地覆盖类别数量及半监督学习的标准训练/测试划分上存在不足，限制了模型的泛化性能。
  2. 本文提出图卢兹高光谱数据集，以解决训练数据稀缺问题，并评估半监督和自监督光谱表示学习技术的有效性。
  3. 实验结果显示，使用自监督技术进行光谱表示学习，像素级分类的整体准确率达到85%，F1分数为77%，为后续研究提供了基线。

📝 摘要（中文）

高空高光谱图像能够在大城市区域进行土地覆盖映射，因其在广泛光谱域内具有极高的空间和光谱分辨率。然而，现有的机器学习算法在土地覆盖映射中的应用受到训练数据稀缺的限制。为了解决这一问题，本文发布了图卢兹高光谱数据集，以满足光谱表示学习和分类的关键需求。此外，论文还探讨并实验了自监督技术，包括掩码自编码器，建立了像素级分类的基线，整体准确率达到85%，F1分数为77%。

🔬 方法详解

问题定义：本文旨在解决高光谱图像中训练数据稀缺的问题，现有数据集在地理覆盖和类别数量上存在局限，影响了机器学习模型的泛化能力。

核心思路：通过发布图卢兹高光谱数据集，提供更丰富的地理和光谱信息，支持半监督和自监督学习方法的评估，提升模型在少量标注数据下的表现。

技术框架：整体流程包括数据集的构建、半监督和自监督学习技术的应用，以及像素级分类的实验。主要模块包括数据预处理、模型训练和性能评估。

关键创新：图卢兹高光谱数据集在地理覆盖、类别丰富性及适合半监督学习的标准划分上具有显著优势，填补了现有数据集的空白。

关键设计：在实验中采用了掩码自编码器作为自监督学习的核心技术，设置了适当的损失函数和网络结构，以确保模型的有效训练和评估。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用图卢兹高光谱数据集进行像素级分类的整体准确率达到85%，F1分数为77%。这些结果为半监督和自监督学习方法在高光谱图像分析中的应用提供了强有力的基线，展示了该数据集的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括城市土地覆盖监测、环境变化分析和资源管理等。通过提供高质量的高光谱数据集，研究者可以更有效地开发和评估新型机器学习算法，推动遥感技术的发展，具有重要的实际价值和社会影响。

📄 摘要（原文）

Airborne hyperspectral images can be used to map the land cover in large urban areas, thanks to their very high spatial and spectral resolutions on a wide spectral domain. While the spectral dimension of hyperspectral images is highly informative of the chemical composition of the land surface, the use of state-of-the-art machine learning algorithms to map the land cover has been dramatically limited by the availability of training data. To cope with the scarcity of annotations, semi-supervised and self-supervised techniques have lately raised a lot of interest in the community. Yet, the publicly available hyperspectral data sets commonly used to benchmark machine learning models are not totally suited to evaluate their generalization performances due to one or several of the following properties: a limited geographical coverage (which does not reflect the spectral diversity in metropolitan areas), a small number of land cover classes and a lack of appropriate standard train / test splits for semi-supervised and self-supervised learning. Therefore, we release in this paper the Toulouse Hyperspectral Data Set that stands out from other data sets in the above-mentioned respects in order to meet key issues in spectral representation learning and classification over large-scale hyperspectral images with very few labeled pixels. Besides, we discuss and experiment self-supervised techniques for spectral representation learning, including the Masked Autoencoder, and establish a baseline for pixel-wise classification achieving 85% overall accuracy and 77% F1 score. The Toulouse Hyperspectral Data Set and our code are publicly available at https://www.toulouse-hyperspectral-data-set.com and https://www.github.com/Romain3Ch216/tlse-experiments, respectively.