TEA-AgriVLN: Traversability Estimation Alarm for Agricultural Vision-and-Language Navigation

📄 arXiv: 2607.28474v1 📥 PDF

作者: Xiaobei Zhao, Xingqi Lyu, Xin Chen, Xiang Li

分类: cs.RO

发布日期: 2026-07-30

🔗 代码/项目: GITHUB

💡 一句话要点

提出TEA模块以解决农业场景中的可通行性估计问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉与语言导航 可通行性估计 农业机器人 深度学习 智能农业 导航决策 多模态融合

📋 核心要点

  1. 农业场景中的可通行性判断模糊，现有方法难以准确评估机器人能否安全通过。
  2. 提出TEA模块，通过分析相机图像估计可通行性，并在决策时提供反馈，增强导航决策的准确性。
  3. 在A2A基准测试中，TEA-AgriVLN方法成功率提升至0.54，导航误差减少至2.70米，显示出显著的性能改进。

📝 摘要（中文）

在连续环境中的视觉与语言导航（VLN-CE）要求智能体根据自然语言指令预测一系列低级动作，以导航机器人从起点到目标位置。A2A基准和AgriVLN方法首次将VLN-CE从室内场景扩展到农业场景。然而，农业场景中的可通行性判断往往模糊，例如未成熟的玉米田对机器人可能可通行，但对人类则可能不可通行。为了解决这一问题，本文提出TEA模块，估计相机图像的可通行性，并在预测动作与可通行性图不一致时提醒决策者重新考虑。将其集成到AgriVLN基础架构中，构建TEA-AgriVLN方法。在A2A评估中，成功率从0.47提升至0.54，导航误差从2.91米降低至2.70米，展示了农业VLN-CE领域的最先进性能。

🔬 方法详解

问题定义：本文旨在解决农业场景中可通行性判断的模糊性问题。现有的视觉与语言导航方法在室内环境中表现良好，但在农业环境中，由于地形和植物生长的多样性，判断可通行性变得复杂。

核心思路：论文提出TEA模块，通过对相机图像的分析，实时估计可通行性，并在预测的导航动作与可通行性图不一致时发出警报，促使决策者重新考虑行动方案。这样的设计旨在提高机器人在复杂农业环境中的导航安全性和效率。

技术框架：TEA-AgriVLN方法的整体架构包括图像输入、可通行性估计、决策反馈和动作执行四个主要模块。首先，系统接收相机图像并进行处理，随后TEA模块评估可通行性，最后根据评估结果调整导航决策。

关键创新：TEA模块是本研究的核心创新点，它通过结合视觉信息与可通行性判断，显著提升了农业场景下的导航性能。这一方法与传统的仅依赖于静态环境信息的导航方法有本质区别。

关键设计：在TEA模块中，采用了深度学习网络来处理图像数据，并设计了特定的损失函数以优化可通行性估计的准确性。此外，模块的参数设置经过多次实验验证，以确保在不同农业场景下的适应性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在A2A基准测试中，TEA-AgriVLN方法的成功率从0.47提升至0.54，导航误差从2.91米降低至2.70米，显示出在农业视觉与语言导航领域的显著性能提升，达到了最先进水平。

🎯 应用场景

该研究的潜在应用领域包括农业机器人、无人机导航和智能农业管理系统。通过提高机器人在复杂农业环境中的导航能力，TEA-AgriVLN方法能够有效支持农业生产，提高作业效率，降低人力成本，推动智能农业的发展。

📄 摘要（原文）

Vision-and-Language Navigation in Continuous Environments (VLN-CE) requires an agent to follow a natural language instruction, predicting a sequence of low-level actions to navigate a robot from a starting point to a target location. The A2A benchmark and the AgriVLN method pioneeringly extended VLN-CE from indoor scenes to agricultural scenes, while we observed a challenging distinction: In indoor scenes, whether a zone is traversable tends to be clear to classify, such as wood floors are traversable but concrete walls are not. In agricultural scenes, however, this issue tends to be ambiguous, such as an unripe cornfield might be traversable for a robotic dog but might be non-traversable for a human. To address this issue, we propose the TEA module, which estimates the traversability of the camera image, then alarm the decision-maker for rethinking when the predicted action does not align with the traversability map. We integrate it into the AgriVLN backbone to build our TEA-AgriVLN method. When evaluated on A2A, it improves Success Rate (SR) from 0.47 to 0.54 and Navigation Error (NE) from 2.91 m to 2.70 m, showing the state-of-the-art performance in the agricultural VLN-CE domain. We further implement the ablation studies and the case study, discussing the effectiveness and limitations of TEA on different ground categories and scene classes. Code: https://github.com/AlexTraveling/TEA-AgriVLN.