The Turning Point of 3D Plant Phenotyping: 3D Foundation Models Enable Minute-to-Second Cross-Crop Reconstruction and Beyond

📄 arXiv: 2607.01753v1 📥 PDF

作者: Hanyue Jia, Wei Zhou, Wenbo Zhou, Yanan Li, Hao Lu, Tingting Wu

分类: cs.CV, q-bio.QM

发布日期: 2026-07-02

备注: 39 pages, 6 figures, 3 tables

💡 一句话要点

提出3D基础模型以解决3D植物表型高通量重建问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D植物表型 基础模型 高通量重建 几何恢复 跨作物分析

📋 核心要点

  1. 现有的3D植物表型方法因多视角成像和复杂的重建流程而效率低下，尤其在低成本数据采集时问题更为突出。
  2. 论文提出了一种基于3D基础模型的框架，简化了重建流程并加速了3D植物表型的实现，特别是跨作物的应用。
  3. 实验结果显示，使用3D基础模型后，重建时间显著缩短，平均从6.52分钟降至1.58秒，同时保持了高质量的重建和准确的表型评估。

📝 摘要（中文）

3D植物表型因多视角成像、脆弱的3D重建流程及额外的几何重建成本而复杂且低效。尤其在低成本数据采集下，智能手机视频或稀疏采样的多视图图像导致视角重叠有限和自遮挡问题。本文展示了如何通过3D基础模型（3DFMs）简化和加速传统3D植物表型流程，提出了首个基于3DFMs的跨作物3D表型框架。该框架用3DFM驱动的前馈几何恢复替代了COLMAP式稀疏初始化，结合几何约束的3D高斯点云密集重建，支持通过迭代视图合成和精细化实现少视图重建，并通过2D到3D的语义转移、度量尺度恢复和器官实例分离将重建几何转换为可测量的器官。实验结果表明，3DFMs将平均重建时间从6.52分钟缩短至1.58秒，同时保持高重建质量和表型准确性。

🔬 方法详解

问题定义：本文旨在解决传统3D植物表型方法在多视角成像和重建流程中的复杂性和低效率，尤其是在低成本数据采集条件下的挑战。

核心思路：通过引入3D基础模型（3DFMs），论文提出了一种新的框架，旨在简化和加速3D植物表型的重建过程，特别是实现跨作物的表型分析。

技术框架：该框架的整体架构包括几个主要模块：首先用3DFM进行几何恢复，替代传统的COLMAP稀疏初始化；其次结合几何约束的3D高斯点云进行密集重建；然后通过迭代视图合成和精细化实现少视图重建；最后将重建的几何信息转化为可测量的植物器官。

关键创新：论文的主要创新在于将3D基础模型应用于植物表型重建，显著提高了重建速度和准确性，尤其是在低视角数据情况下的表现优于现有方法。

关键设计：在技术细节方面，框架采用了几何约束的3D高斯点云重建方法，并通过2D到3D的语义转移实现器官实例的分离，确保了重建的准确性和可测量性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用3D基础模型后，重建时间从6.52分钟显著降低至1.58秒，提升幅度超过75%。同时，重建质量和表型准确性保持在高水平，展示了该方法在高通量植物表型中的有效性。

🎯 应用场景

该研究的潜在应用领域包括农业科学、植物育种和生态监测等。通过高效的3D植物表型技术，研究人员可以更快速地获取植物生长和发育的相关数据，从而推动精准农业和可持续发展。未来，该技术有望在大规模植物表型分析中发挥重要作用。

📄 摘要（原文）

3D plant phenotyping is notoriously known to be procedure-complicated and of low throughput due to the extensive multi-view imaging, the fragile 3D reconstruction pipeline, and the additional cost from reconstructed geometry to phenotypic extraction. These limitations are further amplified in low-cost data acquisition, where smartphone videos or sparsely sampled multi-view images provide limited view overlap and self-occlusion. In this work, we show that the conventional 3D plant phenotyping pipeline could be streamlined and significantly accelerated with 3D Foundation Models (3DFMs), and particularly, present one of the first cross-crop 3D phenotyping frameworks powered by 3DFMs. The framework replaces COLMAP-style sparse initialization with 3DFM-based feed-forward geometric recovery, combines geometry-constrained 3D Gaussian Splatting for dense reconstruction, enables few-view reconstruction through iterative view synthesis and refinement, and converts reconstructed geometry into measurable organs through 2D-to-3D semantic transfer, metric scale recovery, and organ instance separation. We further construct a cross-crop dataset with smartphone-based image acquisition, diverse plant morphologies, and manual annotations for segmentation and phenotypic evaluation. Experiments across 26 plant sequences show that 3D Foundation Models reduce the average reconstruction time from 6.52 minutes to 1.58 seconds while maintaining high reconstruction quality and phenotyping accuracy. These results suggest a fresh technical route for high-throughput 3D plant phenotyping, from low-cost image acquisition to fast reconstruction, perception, scale recovery, and phenotypic measurement.