VinePT-Map: Pole-Trunk Semantic Mapping for Resilient Autonomous Robotics in Vineyards

作者: Giorgio Audrito, Mauro Martini, Alessandro Navone, Giorgia Galluzzo, Marcello Chiaberge

分类: cs.RO

发布日期: 2026-03-05

💡 一句话要点

VinePT-Map：面向葡萄园的杆-干语义地图，提升自主机器人的长期鲁棒性

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 语义地图 自主机器人 农业机器人 葡萄园 因子图优化 实例分割 长期定位

📋 核心要点

1. 传统方法在葡萄园等农业环境中面临感知混淆和季节变化等挑战，导致定位和建图的鲁棒性不足。
2. VinePT-Map利用葡萄树干和支撑杆作为持久地标，构建语义地图，通过因子图优化融合多种传感器数据，提升定位精度。
3. 通过多季节数据集验证，该方法在不同季节的葡萄园环境中表现出良好的鲁棒性和准确性，适用于长期自主运行。

📝 摘要（中文）

由于感知混淆、季节变化和作物冠层的动态特性，自主机器人在农业环境中的长期可靠部署仍然具有挑战性。葡萄园以重复的行结构和跨物候期的显著视觉变化为特征，对传统的基于特征的定位和建图方法提出了严峻的挑战，限制了其鲁棒性。本文提出了一种语义建图框架VinePT-Map，该框架利用葡萄树干和支撑杆作为持久的结构地标，从而实现与季节无关的、具有弹性的机器人定位。该方法将建图问题表述为一个因子图，通过利用葡萄园结构的鲁棒几何约束，整合GPS、IMU和RGB-D观测。高效的感知流程基于实例分割和跟踪，结合用于异常值剔除和姿态细化的聚类滤波器，能够使用低成本传感器和板载计算实现精确的地标检测。为了验证该流程，我们提出了一个用于树干和杆分割与跟踪的多季节数据集。在不同季节进行的广泛的现场实验证明了该方法的鲁棒性和准确性，突出了其在农业环境中长期自主运行的适用性。

🔬 方法详解

问题定义：论文旨在解决农业环境中，特别是葡萄园中，自主机器人长期稳定运行的问题。现有方法依赖于视觉特征，易受季节变化、光照变化和作物生长状态的影响，导致定位和建图精度下降，无法满足长期自主运行的需求。

核心思路：论文的核心思路是利用葡萄园中相对稳定的结构元素——葡萄树干和支撑杆作为语义地标。这些地标在不同季节和光照条件下具有较强的可识别性，能够提供更可靠的定位信息。通过构建基于这些地标的语义地图，可以提高机器人在复杂农业环境中的定位鲁棒性。

技术框架：VinePT-Map框架主要包含以下几个模块：1) 数据采集：利用RGB-D相机、IMU和GPS等传感器获取环境信息。2) 语义分割与跟踪：使用实例分割算法检测图像中的树干和支撑杆，并进行跟踪，获得它们在图像中的位置和ID。3) 聚类滤波：对检测到的地标进行聚类，去除异常值，并进行姿态细化。4) 因子图优化：将GPS、IMU和RGB-D观测数据以及地标信息整合到因子图中，通过优化因子图来估计机器人的位姿和地标的位置。

关键创新：该论文的关键创新在于将语义信息（树干和支撑杆）融入到建图过程中，构建了语义地图。与传统的基于视觉特征的建图方法相比，该方法对环境变化具有更强的鲁棒性。此外，该方法还提出了一种高效的感知流程，能够使用低成本传感器和板载计算实现精确的地标检测。

关键设计：在因子图优化中，论文设计了多种因子来约束机器人的位姿和地标的位置，包括GPS因子、IMU因子、视觉因子和地标因子。视觉因子利用RGB-D图像中的深度信息来约束地标的3D位置。地标因子则利用地标之间的几何关系来约束地标的位置。此外，论文还采用了一种鲁棒的优化算法来处理异常值，提高了定位精度。

🖼️ 关键图片

📊 实验亮点

实验结果表明，VinePT-Map在不同季节的葡萄园环境中均能实现高精度的定位和建图。与传统的基于视觉特征的SLAM方法相比，该方法在定位精度上提升了显著，并且对光照变化和作物生长状态具有更强的鲁棒性。多季节数据集的发布也为相关研究提供了宝贵的数据资源。

🎯 应用场景

该研究成果可应用于农业机器人、无人驾驶车辆等领域，尤其适用于结构化农田环境，如葡萄园、果园等。通过构建鲁棒的语义地图，可以实现农作物的精准管理、自主导航和环境监测，提高农业生产效率，降低人工成本，并为智慧农业的发展提供技术支撑。未来，该技术可扩展到其他类型的农田环境，并与其他传感器融合，实现更精确的环境感知和自主决策。

📄 摘要（原文）

Reliable long-term deployment of autonomous robots in agricultural environments remains challenging due to perceptual aliasing, seasonal variability, and the dynamic nature of crop canopies. Vineyards, characterized by repetitive row structures and significant visual changes across phenological stages, represent a pivotal field challenge, limiting the robustness of conventional feature-based localization and mapping approaches. This paper introduces VinePT-Map, a semantic mapping framework that leverages vine trunks and support poles as persistent structural landmarks to enable season-agnostic and resilient robot localization. The proposed method formulates the mapping problem as a factor graph, integrating GPS, IMU, and RGB-D observations through robust geometrical constraints that exploit vineyard structure. An efficient perception pipeline based on instance segmentation and tracking, combined with a clustering filter for outlier rejection and pose refinement, enables accurate landmark detection using low-cost sensors and onboard computation. To validate the pipeline, we present a multi-season dataset for trunk and pole segmentation and tracking. Extensive field experiments conducted across diverse seasons demonstrate the robustness and accuracy of the proposed approach, highlighting its suitability for long-term autonomous operation in agricultural environments.