VIRUS-NeRF -- Vision, InfraRed and UltraSonic based Neural Radiance Fields

📄 arXiv: 2403.09477v2 📥 PDF

作者: Nicolaj Schmid, Cornelius von Einem, Cesar Cadena, Roland Siegwart, Lorenz Hruby, Florian Tschopp

分类: cs.RO, cs.CV, cs.LG, eess.SP

发布日期: 2024-03-14 (更新: 2024-08-14)

🔗 代码/项目: GITHUB

💡 一句话要点

提出VIRUS-NeRF以解决低成本移动机器人映射问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经辐射场 低成本传感器 环境映射 移动机器人 超声波传感器 红外传感器 即时神经图形原语 占用网格

📋 核心要点

  1. 现有方法依赖昂贵的LiDAR传感器，成本高且不适合所有应用场景。
  2. VIRUS-NeRF结合低成本的超声波和红外传感器，利用神经辐射场进行高效映射。
  3. 实验表明，VIRUS-NeRF在小环境中精度与LiDAR相当，且训练速度提升46%。

📝 摘要（中文）

自主移动机器人在现代工厂和仓库操作中越来越重要，障碍物检测、规避和路径规划是关键的安全任务，通常依赖昂贵的LiDAR传感器和深度相机。本文提出VIRUS-NeRF——基于视觉、红外和超声波的神经辐射场，利用低成本的超声波和红外时间飞行传感器，结合Instant-NGP，更新用于光线行进的占用网格。实验结果表明，VIRUS-NeRF在2D映射性能上与LiDAR点云相当，尤其在小环境中，其精度与LiDAR相符，而在大环境中则受限于超声波传感器。深入的消融研究显示，添加超声波和红外传感器在处理稀疏数据和低视角变化时非常有效。VIRUS-NeRF的占用网格提高了映射能力，并使训练速度比Instant-NGP快46%。

🔬 方法详解

问题定义：本文旨在解决移动机器人在环境映射中对高成本传感器的依赖问题。现有方法通常使用LiDAR等昂贵设备，限制了其在低成本应用中的普及。

核心思路：VIRUS-NeRF通过整合视觉、红外和超声波传感器的数据，构建低成本的神经辐射场映射系统。该方法利用低分辨率传感器的深度测量，更新占用网格，从而实现高效的环境映射。

技术框架：VIRUS-NeRF的整体架构包括数据采集模块（超声波和红外传感器）、Instant-NGP基础框架和占用网格更新模块。数据通过传感器采集后，经过神经网络处理，生成环境的占用网格。

关键创新：VIRUS-NeRF的主要创新在于将低成本传感器与神经辐射场技术结合，显著降低了映射成本，同时保持了较高的映射精度。与传统方法相比，该方法在处理稀疏数据时表现出色。

关键设计：在设计中，采用了多分辨率哈希编码以提高数据处理效率，并通过优化损失函数来增强模型对稀疏数据的适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，VIRUS-NeRF在小环境中的映射精度与LiDAR相当，而在大环境中受限于超声波传感器。该方法在处理稀疏数据和低视角变化时表现优异，训练速度比Instant-NGP快46%，展示了显著的性能提升。

🎯 应用场景

VIRUS-NeRF在移动机器人领域具有广泛的应用潜力，特别是在成本敏感的环境中，如小型仓库和工厂。其低成本、高效率的特点使其适用于安全监测、导航和自主移动等任务，未来可能推动更多低成本机器人技术的发展。

📄 摘要（原文）

Autonomous mobile robots are an increasingly integral part of modern factory and warehouse operations. Obstacle detection, avoidance and path planning are critical safety-relevant tasks, which are often solved using expensive LiDAR sensors and depth cameras. We propose to use cost-effective low-resolution ranging sensors, such as ultrasonic and infrared time-of-flight sensors by developing VIRUS-NeRF - Vision, InfraRed, and UltraSonic based Neural Radiance Fields. Building upon Instant Neural Graphics Primitives with a Multiresolution Hash Encoding (Instant-NGP), VIRUS-NeRF incorporates depth measurements from ultrasonic and infrared sensors and utilizes them to update the occupancy grid used for ray marching. Experimental evaluation in 2D demonstrates that VIRUS-NeRF achieves comparable mapping performance to LiDAR point clouds regarding coverage. Notably, in small environments, its accuracy aligns with that of LiDAR measurements, while in larger ones, it is bounded by the utilized ultrasonic sensors. An in-depth ablation study reveals that adding ultrasonic and infrared sensors is highly effective when dealing with sparse data and low view variation. Further, the proposed occupancy grid of VIRUS-NeRF improves the mapping capabilities and increases the training speed by 46% compared to Instant-NGP. Overall, VIRUS-NeRF presents a promising approach for cost-effective local mapping in mobile robotics, with potential applications in safety and navigation tasks. The code can be found at https://github.com/ethz-asl/virus nerf.