AMCO: Adaptive Multimodal Coupling of Vision and Proprioception for Quadruped Robot Navigation in Outdoor Environments

📄 arXiv: 2403.13235v1 📥 PDF

作者: Mohamed Elnoor, Kasun Weerakoon, Adarsh Jagan Sathyamoorthy, Tianrui Guan, Vignesh Rajagopal, Dinesh Manocha

分类: cs.RO

发布日期: 2024-03-20

备注: 8 pages

💡 一句话要点

提出AMCO以解决四足机器人在户外导航中的多模态感知问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 四足机器人 导航 多模态感知 视觉与本体感知 耦合代价图 户外环境 自适应规划 机器人技术

📋 核心要点

  1. 现有的四足机器人导航方法在动态和复杂的户外环境中面临感知不可靠的问题，导致导航性能下降。
  2. AMCO方法通过自适应结合视觉和本体感知数据，利用三种代价图生成耦合可通过性代价图，从而提高导航的可靠性。
  3. 实验结果表明，AMCO在不同的真实户外环境中表现出10.8%-34.9%的稳定性指标降低，以及成功率提高了50%。

📝 摘要（中文）

我们提出了AMCO，一种新颖的四足机器人导航方法，能够自适应地结合基于视觉和本体感知的感知能力。该方法使用三种代价图：一般知识图、可通过性历史图和当前本体感知图，结合这些图以获得用于导航的耦合可通过性代价图。一般知识图通过视觉感知对地形进行语义分割，表示地形的典型可通过性；可通过性历史图记录机器人在地形上的最近本体感知测量及其语义分割；当前本体感知图则编码机器人的当前本体感知测量。通过评估视觉传感数据的可靠性，AMCO能够根据可用的最可靠输入模态进行导航。最后，我们展示了一种新颖的规划器，选择适当的步态和速度以应对复杂的户外环境。

🔬 方法详解

问题定义：本研究旨在解决四足机器人在复杂户外环境中导航时的感知不可靠性问题。现有方法往往依赖单一感知模态，导致在动态环境中表现不佳。

核心思路：AMCO通过自适应地结合视觉和本体感知数据，利用三种代价图生成耦合可通过性代价图，从而提高导航的可靠性和灵活性。该设计使机器人能够根据环境的变化选择最可靠的感知模态。

技术框架：AMCO的整体架构包括三个主要模块：一般知识图、可通过性历史图和当前本体感知图。这些模块分别从视觉和本体感知数据中提取信息，并结合生成耦合可通过性代价图。

关键创新：AMCO的主要创新在于其自适应耦合机制，能够根据视觉数据的可靠性动态调整感知输入。这种方法与传统的单一模态依赖方法有本质区别，显著提高了导航的稳定性和成功率。

关键设计：在设计中，AMCO使用了亮度和运动模糊评估来判断视觉数据的可靠性，并据此调整代价图的权重。此外，规划器选择适当的步态和速度，以适应不同的地形和环境条件。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

AMCO在不同真实户外环境中的实验结果显示，相较于现有导航方法，其稳定性指标降低了10.8%-34.9%，成功率提高了50%。这一显著提升表明AMCO在复杂环境下的有效性和可靠性。

🎯 应用场景

AMCO的研究成果具有广泛的应用潜力，特别是在搜索与救援、野外探测和自动化农业等领域。通过提高四足机器人在复杂环境中的导航能力，该方法能够显著提升机器人在实际应用中的效率和安全性，推动机器人技术的进一步发展。

📄 摘要（原文）

We present AMCO, a novel navigation method for quadruped robots that adaptively combines vision-based and proprioception-based perception capabilities. Our approach uses three cost maps: general knowledge map; traversability history map; and current proprioception map; which are derived from a robot's vision and proprioception data, and couples them to obtain a coupled traversability cost map for navigation. The general knowledge map encodes terrains semantically segmented from visual sensing, and represents a terrain's typically expected traversability. The traversability history map encodes the robot's recent proprioceptive measurements on a terrain and its semantic segmentation as a cost map. Further, the robot's present proprioceptive measurement is encoded as a cost map in the current proprioception map. As the general knowledge map and traversability history map rely on semantic segmentation, we evaluate the reliability of the visual sensory data by estimating the brightness and motion blur of input RGB images and accordingly combine the three cost maps to obtain the coupled traversability cost map used for navigation. Leveraging this adaptive coupling, the robot can depend on the most reliable input modality available. Finally, we present a novel planner that selects appropriate gaits and velocities for traversing challenging outdoor environments using the coupled traversability cost map. We demonstrate AMCO's navigation performance in different real-world outdoor environments and observe 10.8%-34.9% reduction w.r.t. two stability metrics, and up to 50% improvement in terms of success rate compared to current navigation methods.