Label-Efficient 3D Forest Mapping: Self-Supervised and Transfer Learning for Individual, Structural, and Species Analysis
作者: Aldino Rizaldy, Fabian Ewald Fassnacht, Ahmed Jamal Afifi, Hua Jiang, Richard Gloaguen, Pedram Ghamisi
分类: cs.CV
发布日期: 2025-11-09
💡 一句话要点
利用自监督和迁移学习实现标签高效的3D森林测绘
🎯 匹配领域: 支柱三：空间感知 (Perception & SLAM)
关键词: 3D森林测绘 自监督学习 迁移学习 点云处理 实例分割 语义分割 树木分类
📋 核心要点
- 现有3D森林分析依赖大量标注数据，标注过程耗时且难以扩展，限制了深度学习方法的应用。
- 论文提出结合自监督学习和迁移学习，减少对标注数据的依赖，提升实例分割、语义分割和树木分类性能。
- 实验表明，该方法在实例分割、语义分割和物种分类上均有显著提升，并降低了能源消耗和碳排放。
📝 摘要（中文）
为了支持精准林业、生物多样性保护以及生物量和碳测绘的参考数据，获取个体树木层面的详细结构和物种信息变得越来越重要。机载和地面激光扫描的点云是目前快速获取此类信息的最合适数据源。深度学习的最新进展改进了个体树木的分割和分类以及语义树组件的识别。然而，深度学习模型通常需要大量的标注训练数据，这限制了进一步的改进。为3D点云生成密集的、高质量的标注，尤其是在复杂的森林中，是劳动密集型且难以扩展的。我们探索了使用自监督和迁移学习架构来减少对大型标注数据集的依赖的策略。我们的目标是使用现实的和可操作的训练集来提高三个任务的性能：实例分割、语义分割和树木分类。我们的研究结果表明，与从头开始训练相比，将自监督学习与领域自适应相结合可以显著提高实例分割（AP50 +16.98%），自监督学习足以进行语义分割（mIoU +1.79%），分层迁移学习能够准确分类未见过的物种（Jaccard +6.07%）。为了简化使用并鼓励应用，我们将这些任务集成到一个统一的框架中，从而简化了从原始点云到树木划分、结构分析和物种分类的过程。预训练模型减少了约21%的能源消耗和碳排放。这项开源贡献旨在加速从激光扫描点云中 оперативно 提取个体树木信息，以支持林业、生物多样性和碳测绘。
🔬 方法详解
问题定义：论文旨在解决3D森林点云数据处理中，深度学习模型对大量标注数据依赖的问题。现有方法在处理复杂森林场景时，标注成本高昂且难以扩展，限制了模型的泛化能力和实际应用。
核心思路：论文的核心思路是利用自监督学习从无标注数据中提取特征，并结合迁移学习将知识从已标注数据迁移到未标注或少标注数据上，从而减少对大量标注数据的需求。这种方法旨在提高模型在不同森林类型和树种上的泛化能力。
技术框架：论文构建了一个统一的框架，包含三个主要任务：实例分割、语义分割和树木分类。首先，使用自监督学习预训练模型，提取点云的几何和结构特征。然后，针对实例分割任务，结合自监督学习和领域自适应技术。对于语义分割任务，主要依赖自监督学习。最后，采用分层迁移学习策略，将已标注数据上的知识迁移到未见过的树种上，实现准确的树木分类。
关键创新：论文的关键创新在于将自监督学习、领域自适应和分层迁移学习相结合，应用于3D森林点云的分析。这种组合方法能够有效利用无标注数据，减少对大量标注数据的依赖，并提高模型在不同任务和场景下的性能。此外，将多个任务集成到统一框架中，简化了工作流程。
关键设计：论文中，自监督学习可能采用了对比学习或掩码点云重建等方法，用于提取点云的局部和全局特征。领域自适应可能使用了对抗训练或最大均值差异（MMD）等技术，用于减小源域和目标域之间的差异。分层迁移学习可能采用了基于树种分类学关系的迁移策略，例如先迁移到树属，再迁移到树种。具体的损失函数和网络结构细节在论文中可能有所描述，但此处未知。
📊 实验亮点
实验结果表明，结合自监督学习与领域自适应的实例分割方法，相比从头训练，AP50指标提升了16.98%。自监督学习足以胜任语义分割任务，mIoU提升了1.79%。分层迁移学习能够准确分类未见过的物种，Jaccard系数提升了6.07%。此外，预训练模型还减少了约21%的能源消耗和碳排放。
🎯 应用场景
该研究成果可广泛应用于精准林业、生物多样性保护、生物量和碳储量评估等领域。通过高效处理3D森林点云数据，可以快速获取个体树木的结构和物种信息，为森林管理决策提供数据支持，并促进可持续森林经营。
📄 摘要（原文）
Detailed structural and species information on individual tree level is increasingly important to support precision forestry, biodiversity conservation, and provide reference data for biomass and carbon mapping. Point clouds from airborne and ground-based laser scanning are currently the most suitable data source to rapidly derive such information at scale. Recent advancements in deep learning improved segmenting and classifying individual trees and identifying semantic tree components. However, deep learning models typically require large amounts of annotated training data which limits further improvement. Producing dense, high-quality annotations for 3D point clouds, especially in complex forests, is labor-intensive and challenging to scale. We explore strategies to reduce dependence on large annotated datasets using self-supervised and transfer learning architectures. Our objective is to improve performance across three tasks: instance segmentation, semantic segmentation, and tree classification using realistic and operational training sets. Our findings indicate that combining self-supervised learning with domain adaptation significantly enhances instance segmentation compared to training from scratch (AP50 +16.98%), self-supervised learning suffices for semantic segmentation (mIoU +1.79%), and hierarchical transfer learning enables accurate classification of unseen species (Jaccard +6.07%). To simplify use and encourage uptake, we integrated the tasks into a unified framework, streamlining the process from raw point clouds to tree delineation, structural analysis, and species classification. Pretrained models reduce energy consumption and carbon emissions by ~21%. This open-source contribution aims to accelerate operational extraction of individual tree information from laser scanning point clouds to support forestry, biodiversity, and carbon mapping.