The Turning Point of 3D Plant Phenotyping: 3D Foundation Models Enable Minute-to-Second Cross-Crop Reconstruction and Beyond
作者: Hanyue Jia, Wei Zhou, Wenbo Zhou, Yanan Li, Hao Lu, Tingting Wu
分类: cs.CV, bio.QM
发布日期: 2026-07-05
💡 一句话要点
提出3D基础模型以解决3D植物表型高通量重建问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 3D植物表型 基础模型 高通量重建 几何恢复 植物形态学
📋 核心要点
- 现有的3D植物表型方法因多视角成像和重建流程复杂，导致效率低下，尤其在低成本数据采集时问题更为突出。
- 本文提出的框架利用3D基础模型简化了3D植物表型流程，采用前馈几何恢复和几何约束的3D高斯点云重建技术。
- 实验表明，使用3DFMs后，重建时间显著缩短，平均从6.52分钟降至1.58秒，同时保持了高质量的重建效果和表型精度。
📝 摘要（中文）
3D植物表型因多视角成像、脆弱的3D重建流程及重建几何体到表型提取的额外成本而复杂且低效。尤其在低成本数据采集时，智能手机视频或稀疏采样的多视角图像导致视角重叠有限和自遮挡问题。本文展示了如何利用3D基础模型（3DFMs）简化并加速传统的3D植物表型流程，提出了一个基于3DFMs的跨作物3D表型框架。该框架通过3DFM驱动的前馈几何恢复替代了COLMAP风格的稀疏初始化，结合几何约束的3D高斯点云密集重建，支持通过迭代视图合成和精细化实现少视图重建，并通过2D到3D的语义转移、度量尺度恢复和器官实例分离将重建几何体转换为可测量的器官。实验结果显示，3DFMs将平均重建时间从6.52分钟减少到1.58秒，同时保持高质量的重建和表型精度。
🔬 方法详解
问题定义：本文旨在解决传统3D植物表型方法在多视角成像和重建流程复杂性带来的低效率问题，尤其是在低成本数据采集场景下的局限性。
核心思路：通过引入3D基础模型（3DFMs），简化传统的3D植物表型流程，提升重建速度和精度。该方法通过前馈几何恢复替代了传统的稀疏初始化，增强了重建的鲁棒性。
技术框架：整体框架包括几个主要模块：首先是3DFM驱动的几何恢复，其次是几何约束的3D高斯点云密集重建，接着是迭代视图合成与精细化，最后是通过2D到3D的语义转移实现器官的可测量性。
关键创新：最重要的创新在于将3D基础模型应用于植物表型重建，显著提高了重建速度和精度，尤其是在低视角情况下的表现。与传统方法相比，3DFMs提供了一种更高效的几何恢复方式。
关键设计：在设计中，采用了几何约束的3D高斯点云重建技术，结合了特定的损失函数以优化重建质量，并通过精细化步骤确保了重建的准确性和可用性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用3D基础模型后，3D植物表型的平均重建时间从6.52分钟显著降低至1.58秒，重建质量和表型精度保持高水平。这一提升表明该方法在高通量植物表型分析中的巨大潜力。
🎯 应用场景
该研究的潜在应用领域包括农业科学、植物育种和生态监测等。通过高效的3D植物表型技术，研究人员可以更快速地获取植物生长和发育的详细信息，从而推动精准农业和可持续发展。未来，该技术有望在大规模植物表型分析中发挥重要作用。
📄 摘要（原文）
3D plant phenotyping is notoriously known to be procedure-complicated and of low throughput due to the extensive multi-view imaging, the fragile 3D reconstruction pipeline, and the additional cost from reconstructed geometry to phenotypic extraction. These limitations are further amplified in low-cost data acquisition, where smartphone videos or sparsely sampled multi-view images provide limited view overlap and self-occlusion. In this work, we show that the conventional 3D plant phenotyping pipeline could be streamlined and significantly accelerated with 3D Foundation Models (3DFMs), and particularly, present one of the first cross-crop 3D phenotyping frameworks powered by 3DFMs. The framework replaces COLMAP-style sparse initialization with 3DFM-based feed-forward geometric recovery, combines geometry-constrained 3D Gaussian Splatting for dense reconstruction, enables few-view reconstruction through iterative view synthesis and refinement, and converts reconstructed geometry into measurable organs through 2D-to-3D semantic transfer, metric scale recovery, and organ instance separation. We further construct a cross-crop dataset with smartphone-based image acquisition, diverse plant morphologies, and manual annotations for segmentation and phenotypic evaluation. Experiments across 26 plant sequences show that 3D Foundation Models reduce the average reconstruction time from 6.52 minutes to 1.58 seconds while maintaining high reconstruction quality and phenotyping accuracy. These results suggest a fresh technical route for high-throughput 3D plant phenotyping, from low-cost image acquisition to fast reconstruction, perception, scale recovery, and phenotypic measurement.