Robotic 3D Flower Pose Estimation for Small-Scale Urban Farms

📄 arXiv: 2509.02870v1 📥 PDF

作者: Harsh Muriki, Hong Ray Teo, Ved Sengupta, Ai-Ping Hu

分类: cs.RO

发布日期: 2025-09-02

备注: 7 pages, 7 figures

DOI: 10.1109/ICRA55743.2025.11128713

🔗 代码/项目: GITHUB

💡 一句话要点

提出一种基于FarmBot的草莓花朵三维姿态估计方法，用于小型城市农场机器人授粉

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 机器人授粉 三维姿态估计 点云处理 目标检测 植物表型分析

📋 核心要点

  1. 小型城市农场需要低成本的自动化植物表型分析方案，现有方法在精度和成本上存在挑战。
  2. 该方法利用FarmBot平台，通过多视点图像和三维点云结合，实现花朵的三维姿态估计。
  3. 实验表明，该方法能够以较高的精度和召回率估计花朵姿态，满足机器人授粉的需求。

📝 摘要（中文）

本文提出了一种针对小型城市农场的草莓花朵三维姿态估计方法，利用低成本机器人（如FarmBot）实现植物表型分析的自动化。该方法使用配备定制相机末端执行器的FarmBot，从获取的三维点云模型中估计草莓花朵的姿态，用于机器人授粉。该算法通过沿点云的正交轴平移单个占据栅格，获得对应于六个视点的二维图像。然后，使用二维目标检测模型识别二维边界框，并将其转换到三维空间以提取花朵点云。通过将超椭球体、抛物面和平面三种形状拟合到花朵点云来估计姿态，并与手动标注的真值进行比较。实验结果表明，该方法成功找到约80%的花朵，平均姿态误差为7.7度，足以满足机器人授粉的需求，并与以往的研究结果相媲美。所有代码将在https://github.com/harshmuriki/flowerPose.git上提供。

🔬 方法详解

问题定义：论文旨在解决小型城市农场中草莓花朵的三维姿态估计问题，以便使用机器人进行精确授粉。现有方法可能精度不足，或者成本过高，难以在小型农场中部署。

核心思路：论文的核心思路是利用低成本的FarmBot平台，结合多视点图像和三维点云数据，通过二维目标检测和三维形状拟合来估计花朵的姿态。这种方法旨在降低成本，同时保持较高的精度。

技术框架：整体流程包括：1) 使用FarmBot获取草莓植株的三维点云数据；2) 将点云数据转换为六个正交视角的二维图像；3) 使用二维目标检测模型在每个图像中检测花朵；4) 将二维边界框反投影到三维空间，提取花朵的点云；5) 将超椭球体、抛物面和平面三种形状拟合到花朵点云，估计花朵的姿态。

关键创新：该方法的主要创新在于将多视点二维图像和三维点云数据相结合，利用二维目标检测的结果来引导三维点云的处理，从而提高姿态估计的精度和效率。此外，使用多种形状拟合方法，并选择最优的拟合结果，进一步提高了姿态估计的鲁棒性。

关键设计：关键设计包括：1) 使用占据栅格沿正交轴平移生成多视点图像；2) 选择合适的二维目标检测模型，例如 YOLO 系列，进行花朵检测；3) 使用最小二乘法等方法进行形状拟合；4) 设计合适的评价指标，例如姿态误差，来评估姿态估计的准确性。

📊 实验亮点

实验结果表明，该方法能够成功找到约80%的花朵，平均姿态误差为7.7度。这一精度足以满足机器人授粉的需求，并且与以往的研究结果相媲美。该方法在定制的FarmBot平台上进行了验证，证明了其在实际应用中的可行性。

🎯 应用场景

该研究成果可应用于小型城市农场的自动化管理，特别是机器人授粉。通过精确的花朵姿态估计，机器人可以更有效地进行授粉，提高产量和质量。此外，该方法还可以扩展到其他植物的表型分析，例如果实大小、叶片形状等，为精准农业提供技术支持。

📄 摘要（原文）

The small scale of urban farms and the commercial availability of low-cost robots (such as the FarmBot) that automate simple tending tasks enable an accessible platform for plant phenotyping. We have used a FarmBot with a custom camera end-effector to estimate strawberry plant flower pose (for robotic pollination) from acquired 3D point cloud models. We describe a novel algorithm that translates individual occupancy grids along orthogonal axes of a point cloud to obtain 2D images corresponding to the six viewpoints. For each image, 2D object detection models for flowers are used to identify 2D bounding boxes which can be converted into the 3D space to extract flower point clouds. Pose estimation is performed by fitting three shapes (superellipsoids, paraboloids and planes) to the flower point clouds and compared with manually labeled ground truth. Our method successfully finds approximately 80% of flowers scanned using our customized FarmBot platform and has a mean flower pose error of 7.7 degrees, which is sufficient for robotic pollination and rivals previous results. All code will be made available at https://github.com/harshmuriki/flowerPose.git.