LeCropFollow: Latent Space Planning for Navigation in Unstructured Crop Fields
作者: Felipe Tommaselli, Francisco Affonso, Arthur Pompeu, Gianluca Capezzuto, Arun Narenthiran Sivakumar, Girish Chowdhary, Marcelo Becker
分类: cs.RO, cs.AI
发布日期: 2026-06-30
备注: 8 pages, 7 figures, 3 tables. Github Repo: https://github.com/Felipe-Tommaselli/lecropfollow
期刊: IEEE Robotics and Automation Letters, 2026
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出LeCropFollow以解决农业机器人在非结构化作物田导航问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 农业机器人 导航 潜在空间规划 自监督学习 强化学习 语义热图 非结构化环境
📋 核心要点
- 现有几何方法在非结构化作物田中导航时，无法有效处理不规则种植和地形不连续性，导致导航失败。
- LeCropFollow通过学习潜在表示，结合自监督语义热图提取与强化学习规划，优化轨迹而无需显式几何建模。
- 在晚期玉米田的实地实验中，LeCropFollow在种植间隙的表现显著优于基于关键点的方法，减少了2.4倍的语义失败率。
📝 摘要（中文）
在非结构化的农业环境中，传统几何方法常常无法有效应对不规则种植和地形不连续性等挑战。为此，本文提出了LeCropFollow，一个基于学习的潜在空间导航框架，旨在通过自监督的语义热图提取器与基于模型的强化学习规划器TD-MPC2相结合，直接在潜在流形中优化轨迹。该方法保留了语义上下文，避免了几何简化带来的信息丢失。实验结果表明，LeCropFollow在种植间隙的表现显著优于现有基准，语义失败率降低了2.4倍，展示了潜在规划在异质农业环境中的强大潜力。
🔬 方法详解
问题定义：本文旨在解决农业机器人在非结构化作物田中导航时面临的挑战，尤其是传统几何方法在处理不规则种植和地形不连续性时的不足。现有方法往往将高维视觉数据压缩为确定性空间参考，导致信息丢失。
核心思路：LeCropFollow的核心思想是通过学习潜在空间表示，避免显式的几何建模，从而保留语义上下文。该方法集成了自监督的语义热图提取器与基于模型的强化学习规划器TD-MPC2，直接在潜在流形中优化导航轨迹。
技术框架：LeCropFollow的整体架构包括三个主要模块：自监督语义热图提取器、TD-MPC2规划器和潜在空间优化。首先，系统通过视觉输入生成语义热图，然后利用TD-MPC2在潜在空间中进行轨迹优化，最终实现高效导航。
关键创新：该研究的主要创新在于通过潜在空间规划替代传统的几何估计，显著提高了在异质农业环境中的导航能力。与现有方法相比，LeCropFollow能够更好地处理复杂和不确定的环境特征。
关键设计：在技术细节上，LeCropFollow采用了自监督学习策略来生成语义热图，确保了信息的完整性。同时，TD-MPC2规划器的设计允许在潜在流形中进行高效的轨迹优化，提升了系统的整体性能。
🖼️ 关键图片
📊 实验亮点
在晚期玉米田的实地实验中，LeCropFollow在非结构化行间的表现超越了现有的最先进基准，语义失败率降低了2.4倍。这一结果表明，潜在规划方法在异质农业环境中具有显著的优势和应用前景。
🎯 应用场景
LeCropFollow的研究成果在农业机器人导航领域具有广泛的应用潜力，尤其是在复杂和不规则的作物田中。该框架能够提高农业机器人在实际操作中的导航能力，减少因环境不确定性导致的失败，进而提升农业生产效率。未来，该技术还可扩展至其他需要在复杂环境中进行导航的机器人系统。
📄 摘要（原文）
Unstructured navigational features, such as irregular planting or discontinuities, remain the primary failure mode for under-canopy agricultural robots. Existing geometric approaches often fail in these scenarios because they compress high-dimensional visual data into deterministic spatial references, effectively discarding the uncertainty and semantic context required to navigate ambiguous terrain. To address this, we present LeCropFollow, a visual navigation framework that bypasses explicit geometric modeling in favor of a learned latent representation. By integrating a self-supervised semantic heatmap extractor with TD-MPC2, a Model-Based Reinforcement Learning (MBRL) planner, our system optimizes trajectories directly within a latent manifold. The framework operates over the uncompressed heatmap signal, preserving the semantic context that geometric reductions discard. We demonstrate that this representational shift enables zero-shot transfer from simplified simulation to the physical world without fine-tuning. Extensive field experiments in late-stage corn fields show that LeCropFollow matches state-of-the-art baselines in unstructured rows but significantly outperforms them in plantation gaps, achieving a 2.4x reduction in semantic failures compared to keypoint-based methods. These results suggest that latent planning offers a robust alternative to geometric estimation for operations in heterogeneous agricultural environments. Code, models, and data available: https://felipe-tommaselli.github.io/lecropfollow .