Object-Oriented Semantic Mapping for Reliable UAVs Navigation

📄 arXiv: 2401.08132v1 📥 PDF

作者: Thanh Nguyen Canh, Armagan Elibol, Nak Young Chong, Xiem HoangVan

分类: cs.RO

发布日期: 2024-01-16

备注: In the 12th International Conference on Control, Automation and Information Sciences (ICCAIS 2023), Hanoi, Vietnam

💡 一句话要点

提出基于对象的语义地图以解决无人机导航问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 无人机导航 语义地图 目标检测 SLAM BoT-SORT RGB-D图像 概率地图 搜索与救援

📋 核心要点

  1. 现有的度量地图缺乏语义信息，无法全面理解复杂环境，尤其是在搜索和救援任务中存在安全隐患。
  2. 本文提出了一种结合YOLOv8目标检测和CartoGrapher SLAM的方法，构建包含对象信息的概率度量地图，以增强环境理解。
  3. 实验结果表明，系统能够生成包含多种对象的增强语义地图，且在Jetson Xavier AGX上验证了其实用性。

📝 摘要（中文）

为了在真实环境中自主导航，特别是在搜索和救援操作中，无人机（UAV）需要全面的地图以确保安全。然而，现有的度量地图通常缺乏对场景理解至关重要的语义信息。本文提出了一种系统，通过从RGB-D图像中提取的环境对象信息构建概率度量地图。我们的方法结合了基于YOLOv8的先进目标检测框架和2D SLAM方法CartoGrapher。为了有效跟踪和定位从前端接口提取的语义对象类别，我们采用了创新的BoT-SORT方法。我们引入了一种新的关联方法来提取对象的位置，并将其与度量地图进行投影。与以往研究不同，我们的方法能够在存在多种空心底部对象的环境中实现可靠导航。我们的系统输出的概率地图通过包含对象特定属性显著增强了地图的表现，涵盖了类别区分、准确定位和对象高度。通过一系列实验评估了我们提出的方法，结果表明机器人能够有效生成包含多个对象（特别是椅子和桌子）的增强语义地图。此外，我们的系统在嵌入式计算机Jetson Xavier AGX单元上进行了评估，以展示其在实际应用中的用例。

🔬 方法详解

问题定义：本文旨在解决无人机在复杂环境中导航时缺乏语义信息的问题。现有的度量地图无法提供足够的场景理解，影响导航的安全性和可靠性。

核心思路：我们提出了一种新颖的系统，通过结合YOLOv8进行目标检测和CartoGrapher进行SLAM，生成包含对象信息的概率度量地图，以提升环境的语义理解能力。

技术框架：系统主要分为两个模块：前端的YOLOv8目标检测模块用于提取环境中的对象信息，后端的CartoGrapher SLAM模块用于构建和更新概率度量地图。我们还引入了BoT-SORT方法来跟踪和定位提取的对象。

关键创新：本研究的创新点在于引入了一种新的对象位置关联方法，能够有效处理多种空心底部对象的导航问题，显著提高了地图的语义丰富性和导航的可靠性。

关键设计：在目标检测中采用YOLOv8网络结构，结合特定的损失函数优化目标检测精度；在SLAM模块中，使用CartoGrapher进行地图构建，确保实时性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，系统能够有效生成包含多个对象的增强语义地图，特别是在椅子和桌子的检测上表现突出。与基线方法相比，系统在对象定位和地图语义丰富性上有显著提升，验证了其实用性和有效性。

🎯 应用场景

该研究的潜在应用领域包括无人机在搜索和救援、灾后评估以及环境监测等任务中的自主导航。通过提供丰富的语义信息，系统能够提高无人机在复杂环境中的决策能力和安全性，具有重要的实际价值和未来影响。

📄 摘要（原文）

To autonomously navigate in real-world environments, special in search and rescue operations, Unmanned Aerial Vehicles (UAVs) necessitate comprehensive maps to ensure safety. However, the prevalent metric map often lacks semantic information crucial for holistic scene comprehension. In this paper, we proposed a system to construct a probabilistic metric map enriched with object information extracted from the environment from RGB-D images. Our approach combines a state-of-the-art YOLOv8-based object detection framework at the front end and a 2D SLAM method - CartoGrapher at the back end. To effectively track and position semantic object classes extracted from the front-end interface, we employ the innovative BoT-SORT methodology. A novel association method is introduced to extract the position of objects and then project it with the metric map. Unlike previous research, our approach takes into reliable navigating in the environment with various hollow bottom objects. The output of our system is a probabilistic map, which significantly enhances the map's representation by incorporating object-specific attributes, encompassing class distinctions, accurate positioning, and object heights. A number of experiments have been conducted to evaluate our proposed approach. The results show that the robot can effectively produce augmented semantic maps containing several objects (notably chairs and desks). Furthermore, our system is evaluated within an embedded computer - Jetson Xavier AGX unit to demonstrate the use case in real-world applications.