NEST3D: A High-Resolution Multimodal Dataset of Sociable Weaver Tree Nests

📄 arXiv: 2606.14562v1 📥 PDF

作者: Constanza A. Molina Catricheo, Simon Boeder, Ting-Jia Guo, Giacomo May, Clément Berthelot, Devis Tuia, Friedrich Fedor Reinhard, Fabio Remondino, Benjamin Risse

分类: cs.CV, cs.LG

发布日期: 2026-06-12

备注: 14 pages, 4 figures. Dataset available at https://huggingface.co/NEST3D

💡 一句话要点

提出NEST3D数据集以解决生态结构3D重建问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态数据集 3D重建 语义分割 生态监测 社交织巢鸟 无人机技术 深度学习

📋 核心要点

  1. 现有数据集缺乏细致的3D结构信息，难以支持社交织巢鸟巢的生态研究。
  2. 本文提出一个开放获取的多模态数据集，结合RGB、多光谱图像和3D点云数据，提供丰富的生态信息。
  3. 实验结果显示，使用Point Transformer V3模型在语义分割任务中取得了86.35%的mIoU，表现优异。

📝 摘要（中文）

社交织巢鸟巢作为复杂的生态结构，提供了调节温度的微环境并支持多样物种。然而，现有研究中使用的数据集缺乏细致的3D结构信息。本文提供了一个开放获取的1.4 TB多模态无人机数据集，包含104棵巢树的27945张RGB图像、111780张多光谱图像和约7.81亿个3D点，以及专家标注的语义分割标签。通过KPConv、RandLA-Net和Point Transformer V3进行语义分割基准测试，PT-v3在测试集上取得了86.35%的mIoU，展示了变换器和点云方法的强大性能，同时也揭示了卷积方法的架构依赖性挑战。该数据集的独特结合了光谱、空间和结构信息，推动了3D重建、分割和分类算法的发展，具有重要的生态应用价值。

🔬 方法详解

问题定义：本文旨在解决社交织巢鸟巢的3D重建和语义分割问题。现有方法在处理不规则几何形状和复杂植被时存在困难，导致缺乏高质量的3D数据集。

核心思路：通过构建一个包含多种模态的无人机数据集，结合RGB图像、多光谱图像和3D点云，提供丰富的生态信息，以支持更精确的3D重建和语义分割。

技术框架：数据集包含104棵巢树的27945张RGB图像、111780张多光谱图像和约7.81亿个3D点。使用KPConv、RandLA-Net和Point Transformer V3进行语义分割基准测试，评估不同模型的性能。

关键创新：该数据集的独特之处在于其多模态特性，结合了光谱、空间和结构信息，推动了3D重建和分类算法的发展，特别是在处理极端类别不平衡时的表现。

关键设计：在实验中，使用了不同的网络架构进行比较，特别是针对卷积方法的架构依赖性问题进行了深入分析，PT-v3模型在测试集上取得了86.35%的mIoU，显示出其在语义分割任务中的优势。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用Point Transformer V3模型在语义分割任务中取得了86.35%的mIoU，显著优于传统卷积方法，展示了在处理复杂生态结构时的强大能力。该数据集为未来的生态研究提供了一个具有挑战性的基准。

🎯 应用场景

该研究的潜在应用领域包括生态监测、物种保护和环境管理。通过提供高分辨率的3D结构数据，研究人员可以更好地评估鸟巢的体积、栖息地质量以及对环境变化的响应，从而为生态保护提供科学依据。

📄 摘要（原文）

Sociable weaver nests function as complex ecological structures offering thermoregulatory microhabitats and sustaining diverse species; however, datasets used in prior studies lack fine-grained 3D structural detail. Producing usable and accurate 3D weaver nest data is challenging due to their irregular geometry and integration with complex host vegetation. We bridge this gap with an open-access, 1.4 TB multimodal drone dataset of 104 nest-bearing trees, comprising 27,945 RGB images, 111,780 multispectral images, approximately 781 million 3D points, and expert-annotated semantic segmentation labels. We benchmark semantic segmentation using KPConv, RandLA-Net, and Point Transformer V3, with PT-v3 achieving an mIoU of 86.35% on the test set. While the results demonstrate strong performance for transformer-based and point-wise methods, they also highlight architecture-dependent challenges, particularly for convolution-based approaches such as KPConv. By uniquely combining spectral, spatial, and structural information, the presented dataset advances 3D reconstruction, segmentation, and classification algorithms, enabling ecological applications from nest volume estimation to species conservation, and serves as a demanding benchmark that exposes architecture-dependent performance under extreme class imbalance.