Contactless Respiratory Monitoring on Heterogeneous Mobile Robots: A Multimodal Edge-Computing Framework

📄 arXiv: 2606.17376v1 📥 PDF

作者: Milind Rampure, Shadman Sakib, Haley Patel, Zahid Hasan, Nirmalya Roy

分类: cs.RO, cs.CV

发布日期: 2026-06-16

备注: 8 pages, 6 figures. To appear in Proceedings of the 8th International Workshop on IoT Applications and Industry 5.0 (IoTI5 2026), co-located with IEEE DCOSS-IoT 2026, Reykjavik, Iceland, June 2026

💡 一句话要点

提出多模态边缘计算框架以解决异构移动机器人上的无接触呼吸监测问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 无接触监测 呼吸频率 多模态传感器 边缘计算 移动机器人 信号质量指数 自主分诊 紧急响应

📋 核心要点

  1. 现有的无接触呼吸监测方法在光照变化和姿势变化下表现不佳，且在危险环境中佩戴传感器不切实际。
  2. 本文提出了一种多模态边缘计算框架，通过自适应传感器选择和信号质量过滤，实现了对异构移动机器人的呼吸监测。
  3. 实验表明，该框架在不同光照条件和机器人平台上均能有效工作，RGB传感器的监测范围可达8米，NIR为6米，热成像和低光传感器在短距离内有效。

📝 摘要（中文）

呼吸频率监测在紧急响应、灾后恢复和传染病场景中至关重要，减少物理接触可以降低响应者风险并提高操作安全性。然而，由于光照变化、姿势变化、平台异构性以及在危险环境中佩戴传感器的不切实际，现场部署无接触呼吸监测仍然面临挑战。本文提出了一种适应性多模态无接触呼吸监测框架，结合了亮度自适应传感器选择、关键点引导的胸部ROI提取和基于信号质量指数的过滤机制。实验结果表明，该框架在不同平台上具有良好的通用性，支持在危险搜索和救援环境中的自主分诊和受害者评估。

🔬 方法详解

问题定义：本文旨在解决在异构移动机器人上进行无接触呼吸监测的挑战，现有方法在光照、姿势和平台异构性方面存在局限性。

核心思路：提出了一种多模态框架，结合了不同类型的传感器（RGB、热成像、近红外和低光）以适应不同环境条件，确保监测的可靠性和准确性。

技术框架：框架包括亮度自适应传感器选择、基于关键点的胸部ROI提取和信号质量指数（SQI）过滤机制，整体流程从数据采集到呼吸频率估计。

关键创新：最重要的创新在于实现了跨平台的无缝监测，无需针对每个平台进行算法调优，同时揭示了不同模态的操作边界。

关键设计：在传感器选择上，RGB传感器在8米内提供最佳覆盖，NIR在6米内有效，热成像适用于短距离，低光传感器在完全黑暗中也能支持监测。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，该框架在不同光照条件和机器人平台上均表现出色，RGB传感器的有效监测范围可达8米，NIR传感器为6米，热成像和低光传感器在短距离内可靠，展示了多模态监测的可行性和优势。

🎯 应用场景

该研究的潜在应用领域包括紧急响应、灾后恢复和传染病监测等场景，能够在减少接触风险的同时提供可靠的呼吸监测数据。未来，该框架可为自主分诊和受害者评估提供基础，提升救援效率和安全性。

📄 摘要（原文）

Respiratory-rate (RR) monitoring is a critical component of remote triage and victim assessment in emergency response, disaster recovery, and infectious-disease scenarios, where minimizing physical contact can reduce responder risk and improve operational safety. However, field deployment of contactless RR monitoring remains challenging due to variable illumination, posture changes, platform heterogeneity, and the impracticality of wearable sensors in hazardous environments. In this paper, we present a modality-adaptive contactless RR monitoring framework for heterogeneous mobile robots with onboard edge computing. The proposed system combines brightness-adaptive sensor selection across RGB, thermal, near-infrared (NIR), and low-light cameras, keypoint-guided chest ROI extraction for posture-robust monitoring, and a signal-quality-index (SQI)-based filtering mechanism for reliable respiratory estimation. We implement and evaluate the framework on three robotic platforms spanning quadruped and wheeled locomotion and multiple edge-computing architectures. Experiments conducted across diverse lighting conditions, subject poses, and robot-to-subject distances demonstrate that the framework generalizes across platforms without per-platform algorithmic retuning, while revealing modality-specific operational boundaries. RGB provides the broadest coverage up to 8m, NIR remains effective up to 6m, thermal is reliable only at short range, and low-light sensing supports monitoring in complete darkness up to 8m. Overall, the results demonstrate the feasibility of multimodal contactless RR monitoring on mobile robots and support its use as a foundation for autonomous triage and victim assessment in hazardous search-and-rescue settings.