High-fidelity 3D Reconstruction of Plants using Neural Radiance Field

📄 arXiv: 2311.04154v1 📥 PDF

作者: Kewei Hu, Ying Wei, Yaoqiang Pan, Hanwen Kang, Chao Chen

分类: cs.CV, cs.RO

发布日期: 2023-11-07

DOI: 10.1016/j.compag.2024.108848

💡 一句话要点

利用神经辐射场实现植物高保真3D重建

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经辐射场 植物表型 3D重建 精准农业 数据集 图像合成 几何重建

📋 核心要点

  1. 现有的光学传感器方法在非结构化农业环境中难以实现高保真3D重建，存在性能限制。
  2. 本研究利用神经辐射场（NeRF）技术，提出了一种新颖的植物表型数据集，探索其在农业中的应用。
  3. 实验结果显示，NeRF在新视图图像合成和3D重建方面表现出色，重建效果与商业软件相当，但也存在训练速度慢等问题。

📝 摘要（中文）

植物表型的准确重建在精准农业中优化可持续农业实践中至关重要。目前，基于光学传感器的方法占主导地位，但在非结构化农业环境中实现高保真3D重建仍然具有挑战性。本文聚焦于神经辐射场（NeRF）在植物表型中的应用，提出了一种新颖的植物表型数据集，并展示了NeRF在合成新视图图像和3D重建方面的优越性能。实验结果表明，NeRF在新视图图像合成中表现良好，其重建结果与领先的商业软件Reality Capture相当，但也指出了训练速度较慢和在复杂环境中几何质量不足的缺陷。

🔬 方法详解

问题定义：本文旨在解决在非结构化农业环境中植物的高保真3D重建问题。现有的光学传感器方法在复杂场景下表现不佳，难以满足精准农业的需求。

核心思路：本研究采用神经辐射场（NeRF）技术，利用神经密度场进行植物表型的2D图像合成和3D重建，探索其在农业中的潜力。

技术框架：整体架构包括数据采集、模型训练和图像合成三个主要阶段。首先，收集真实植物图像构建数据集；然后，使用Instant-NGP和Instant-NSR等SOTA方法进行模型训练；最后，生成新视图图像和3D重建模型。

关键创新：本研究的创新点在于提出了针对农业场景的植物表型数据集，并结合SDF改进了几何重建质量，展示了NeRF在农业应用中的潜力。

关键设计：在模型训练中，采用了Signed Distance Function（SDF）来提升几何重建的准确性，同时优化了训练速度和图像合成质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，NeRF在新视图图像合成中表现出色，重建结果与Reality Capture软件相当。尽管存在训练速度较慢和在复杂环境中几何质量不足的缺陷，但其在农业应用中的潜力依然显著。

🎯 应用场景

该研究的潜在应用领域包括精准农业、植物表型分析和农业机器人等。通过高保真3D重建，农民可以更好地监测作物生长状况，优化种植策略，从而提高农业生产效率和可持续性。

📄 摘要（原文）

Accurate reconstruction of plant phenotypes plays a key role in optimising sustainable farming practices in the field of Precision Agriculture (PA). Currently, optical sensor-based approaches dominate the field, but the need for high-fidelity 3D reconstruction of crops and plants in unstructured agricultural environments remains challenging. Recently, a promising development has emerged in the form of Neural Radiance Field (NeRF), a novel method that utilises neural density fields. This technique has shown impressive performance in various novel vision synthesis tasks, but has remained relatively unexplored in the agricultural context. In our study, we focus on two fundamental tasks within plant phenotyping: (1) the synthesis of 2D novel-view images and (2) the 3D reconstruction of crop and plant models. We explore the world of neural radiance fields, in particular two SOTA methods: Instant-NGP, which excels in generating high-quality images with impressive training and inference speed, and Instant-NSR, which improves the reconstructed geometry by incorporating the Signed Distance Function (SDF) during training. In particular, we present a novel plant phenotype dataset comprising real plant images from production environments. This dataset is a first-of-its-kind initiative aimed at comprehensively exploring the advantages and limitations of NeRF in agricultural contexts. Our experimental results show that NeRF demonstrates commendable performance in the synthesis of novel-view images and is able to achieve reconstruction results that are competitive with Reality Capture, a leading commercial software for 3D Multi-View Stereo (MVS)-based reconstruction. However, our study also highlights certain drawbacks of NeRF, including relatively slow training speeds, performance limitations in cases of insufficient sampling, and challenges in obtaining geometry quality in complex setups.