Gradient-based Local Next-best-view Planning for Improved Perception of Targeted Plant Nodes
作者: Akshay K. Burusa, Eldert J. van Henten, Gert Kootstra
分类: cs.RO, cs.CV
发布日期: 2023-11-28 (更新: 2024-04-29)
备注: This work has been accepted for the 2024 International Conference on Robotics and Automation (ICRA 2024)
💡 一句话要点
提出基于梯度的局部下一最佳视角规划以改善植物节点感知
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 局部视角规划 机器人感知 农业机器人 遮挡处理 3D重建 智能温室 自动化采摘
📋 核心要点
- 现有的NBV规划方法主要集中于全局视角规划，通常依赖随机采样，导致计算成本高、视角选择不佳和轨迹不平滑等问题。
- 本文提出了一种基于梯度的NBV规划器，利用微分光线采样直接估计局部梯度方向，以优化视角规划，克服遮挡问题。
- 实验结果表明，所提规划器在处理遮挡、3D重建和位置估计方面表现优异，计算效率显著提升，轨迹效率提高28%。
📝 摘要（中文）
随着机器人在番茄温室中被广泛应用于自动化劳动密集型任务，如选择性采摘和去叶，机器人必须能够准确高效地感知需要切割的植物节点，尽管存在其他植物部分的高度遮挡。本文将此问题表述为局部下一最佳视角（NBV）规划任务，机器人需规划一组高效的相机视角以克服遮挡并提高感知质量。我们提出了一种基于梯度的NBV规划器，采用微分光线采样，直接估计视角规划的局部梯度方向，以克服遮挡并改善感知。通过仿真实验，我们证明了该规划器能够有效处理遮挡，并在3D重建和节点位置估计方面表现出与基于采样的NBV规划器相当的效果，同时计算量减少十倍，生成的轨迹效率提高28%。
🔬 方法详解
问题定义：本文旨在解决机器人在番茄温室中进行选择性采摘时，如何有效感知被遮挡的植物节点的问题。现有方法多依赖全局视角规划，存在计算成本高、视角选择不佳等痛点。
核心思路：论文提出了一种基于梯度的局部NBV规划方法，利用微分光线采样技术，直接估计局部梯度方向，以优化相机视角的选择，从而提高感知精度。
技术框架：整体架构包括环境建模、局部视角规划和感知优化三个主要模块。首先，通过传感器获取环境信息，构建3D模型；然后，基于局部梯度进行视角规划；最后，优化感知结果以提高节点识别率。
关键创新：最重要的技术创新在于引入了基于梯度的局部视角规划方法，区别于传统的随机采样方法，显著降低了计算复杂度并提高了视角选择的有效性。
关键设计：在参数设置上，采用了动态调整的采样步长和局部梯度计算方法，损失函数设计上强调了感知精度和轨迹平滑性，确保规划出的轨迹既高效又可行。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提基于梯度的NBV规划器在处理遮挡时，能够与传统的基于采样的NBV规划器相媲美，3D重建和位置估计的效果相当，同时计算时间减少了十倍，生成的轨迹效率提高了28%。
🎯 应用场景
该研究的潜在应用领域包括农业机器人、智能温室管理和自动化采摘系统。通过提高机器人对植物节点的感知能力，可以显著提升农业生产效率，降低人工成本，推动智能农业的发展。未来，该技术还可扩展到其他领域，如自动化检测和监控系统。
📄 摘要（原文）
Robots are increasingly used in tomato greenhouses to automate labour-intensive tasks such as selective harvesting and de-leafing. To perform these tasks, robots must be able to accurately and efficiently perceive the plant nodes that need to be cut, despite the high levels of occlusion from other plant parts. We formulate this problem as a local next-best-view (NBV) planning task where the robot has to plan an efficient set of camera viewpoints to overcome occlusion and improve the quality of perception. Our formulation focuses on quickly improving the perception accuracy of a single target node to maximise its chances of being cut. Previous methods of NBV planning mostly focused on global view planning and used random sampling of candidate viewpoints for exploration, which could suffer from high computational costs, ineffective view selection due to poor candidates, or non-smooth trajectories due to inefficient sampling. We propose a gradient-based NBV planner using differential ray sampling, which directly estimates the local gradient direction for viewpoint planning to overcome occlusion and improve perception. Through simulation experiments, we showed that our planner can handle occlusions and improve the 3D reconstruction and position estimation of nodes equally well as a sampling-based NBV planner, while taking ten times less computation and generating 28% more efficient trajectories.