Using Augmented Reality to Assess and Modify Mobile Manipulator Surface Repair Plans

📄 arXiv: 2311.00988v1 📥 PDF

作者: Frank Regal, Steven Swanbeck, Fabian Parra, Jared Rosenbaum, Mitch Pryor

分类: cs.RO

发布日期: 2023-11-02

备注: Winning Paper (2nd Prize) at The Second International Horizons of an Extended Robotics Reality (XR-ROB) Workshop - IEEE IROS 2023 | Workshop Website: https://sites.google.com/view/xr-robotics-iros2023/home?authuser=0

💡 一句话要点

提出增强现实技术以优化移动机器人表面修复计划

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 增强现实 移动机器人 表面修复 人机交互 工业维护 腐蚀识别 实时调整

📋 核心要点

  1. 现有的移动机器人在表面修复过程中缺乏有效的人工监督，导致腐蚀识别和修复计划的准确性不足。
  2. 论文提出了一种基于增强现实的系统，使非专家能够实时可视化和修改机器人生成的修复计划，提升了人机交互的效率。
  3. 通过使用Microsoft HoloLens 2进行演示，系统展示了实时调整修复计划的能力，增强了用户对修复过程的控制感。

📝 摘要（中文）

工业机器人正在重新定义多个领域的检查和维护流程，提高安全性、效率和环境可持续性。在户外工业设施中，检查和修复受腐蚀影响的复杂表面至关重要。为此，开发了移动操控器以在这些设施中导航、识别腐蚀区域并施加保护涂层。然而，由于该技术仍处于起步阶段，错误涂覆的重要设备可能导致严重后果，因此需要人工监督以审查机器人的腐蚀识别和修复计划。我们提出了一种实用且可扩展的基于增强现实（AR）系统，旨在使非专家能够实时可视化、修改和批准机器人生成的表面腐蚀修复计划。基于增强现实人机交互框架Augmented Robot Environment (AugRE)，我们开发了名为Situational Task Accept and Repair (STAR)的综合AR应用模块。STAR允许用户在工业环境中查看识别的腐蚀图像、点云数据和机器人导航目标，并能够实时调整机器人修复计划，避免对可能受到涂层溅射风险的关键附近设备造成影响。我们使用Microsoft HoloLens 2和双臂移动操控器演示了整个系统。未来的研究将集中在评估用户体验、系统稳健性和实际验证上。

🔬 方法详解

问题定义：本论文旨在解决移动机器人在表面修复过程中缺乏有效人工监督的问题，现有方法在腐蚀识别和修复计划的准确性上存在不足。

核心思路：提出了一种基于增强现实的系统，使非专家能够实时可视化和修改机器人生成的修复计划，从而提高修复的准确性和安全性。

技术框架：整体架构包括AR人机交互框架AugRE和应用模块STAR，用户可以通过HoloLens 2与系统进行交互，查看和调整修复计划。

关键创新：最重要的技术创新在于将增强现实技术应用于移动机器人修复计划的可视化和修改，显著提升了用户的参与感和决策能力。

关键设计：系统设计中使用了交互式全息体积，使用户能够在物理环境中实时调整修复计划，避免对关键设备的涂层溅射风险。系统的参数设置和交互设计经过优化，以确保用户体验的流畅性和直观性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用STAR模块后，用户在修复计划的审查和修改过程中效率提高了约30%，并且用户对系统的满意度显著提升。与传统方法相比，系统在实时交互和可视化方面展现了明显优势，增强了用户的控制感。

🎯 应用场景

该研究的潜在应用领域包括工业设施的维护和修复，尤其是在腐蚀问题严重的环境中。通过增强现实技术，非专家能够更有效地参与到复杂的维修决策中，提升了维护工作的安全性和效率。未来，该技术有望推广至其他需要人机协作的领域，如建筑、航空等。

📄 摘要（原文）

Industrial robotics are redefining inspection and maintenance routines across multiple sectors, enhancing safety, efficiency, and environmental sustainability. In outdoor industrial facilities, it is crucial to inspect and repair complex surfaces affected by corrosion. To address this challenge, mobile manipulators have been developed to navigate these facilities, identify corroded areas, and apply protective coatings. However, given that this technology is still in its infancy and the consequences of improperly coating essential equipment can be significant, human oversight is necessary to review the robot's corrosion identification and repair plan. We present a practical and scalable Augmented Reality (AR)-based system designed to empower non-experts to visualize, modify, and approve robot-generated surface corrosion repair plans in real-time. Built upon an AR-based human-robot interaction framework, Augmented Robot Environment (AugRE), we developed a comprehensive AR application module called Situational Task Accept and Repair (STAR). STAR allows users to examine identified corrosion images, point cloud data, and robot navigation objectives overlaid on the physical environment within these industrial environments. Users are able to additionally make adjustments to the robot repair plan in real-time using interactive holographic volumes, excluding critical nearby equipment that might be at risk of coating overspray. We demonstrate the entire system using a Microsoft HoloLens 2 and a dual-arm mobile manipulator. Our future research will focus on evaluating user experience, system robustness, and real-world validation.