ReGlove: A Soft Pneumatic Glove for Activities of Daily Living Assistance via Wrist-Mounted Vision
作者: Rosh Ho, Jian Zhang
分类: cs.RO, cs.CV
发布日期: 2025-12-01
💡 一句话要点
ReGlove:基于腕部视觉的低成本软气动助力手套,辅助日常生活活动
🎯 匹配领域: 支柱一:机器人控制 (Robot Control)
关键词: 上肢辅助 气动手套 计算机视觉 边缘计算 日常生活活动 YOLO 可穿戴设备
📋 核心要点
- 现有上肢辅助技术成本高昂或依赖不可靠的生物信号,难以惠及广大慢性上肢损伤患者。
- ReGlove利用腕部摄像头和边缘计算,通过视觉识别实现上下文感知的抓取辅助,无需依赖肌肉信号。
- 实验表明,ReGlove在物体操作和日常生活活动中表现出色,且成本低廉,具有实际应用潜力。
📝 摘要(中文)
本文介绍ReGlove,一个将低成本商用气动康复手套转化为视觉引导辅助矫形器的系统。全球有数百万慢性上肢损伤患者,但现有的辅助技术要么价格过高,要么依赖不可靠的生物信号。我们的平台集成了腕部摄像头和一个边缘计算推理引擎(Raspberry Pi 5),无需可靠的肌肉信号即可实现上下文感知的抓取。通过调整基于YOLO的实时计算机视觉模型,该系统实现了96.73%的抓取分类准确率,端到端延迟低于40.00毫秒。使用标准化基准进行的物理验证表明,在YCB对象操作上的成功率为82.71%,并且在27项日常生活活动(ADL)任务中表现可靠。ReGlove总成本低于250美元,且全部采用商用组件,为可访问的、基于视觉的上肢辅助提供了一个技术基础,这可能会使那些被传统EMG控制设备排除在外的人群受益。
🔬 方法详解
问题定义:现有上肢辅助设备主要面临两个问题:一是价格昂贵,使得许多患者难以负担;二是依赖肌电信号(EMG)控制,但对于肌肉功能严重受损的患者,EMG信号可能不稳定或无法获取,导致控制效果不佳。因此,需要一种低成本、非侵入式的上肢辅助方案,能够适应不同程度的损伤情况。
核心思路:ReGlove的核心思路是利用计算机视觉技术,通过腕部摄像头实时识别用户想要抓取的物体,然后控制气动手套进行辅助抓取。这种方法避免了对肌肉信号的依赖,并且可以通过优化视觉算法来提高抓取的准确性和效率。同时,采用低成本的商用气动手套和边缘计算设备,降低了整体成本,提高了可及性。
技术框架:ReGlove系统主要由以下几个模块组成:1) 腕部摄像头:用于实时捕捉用户视角的图像;2) 边缘计算单元(Raspberry Pi 5):运行计算机视觉模型,进行物体识别和抓取姿态估计;3) 气动手套:根据边缘计算单元的指令,控制气囊充气或放气,辅助用户进行抓取动作;4) 控制算法:负责将视觉识别结果转化为气动手套的控制信号。整个流程是:摄像头采集图像 -> 边缘计算单元处理图像并识别物体 -> 控制算法生成控制信号 -> 气动手套执行抓取动作。
关键创新:ReGlove的关键创新在于将低成本的商用气动手套与腕部视觉系统相结合,实现了一种非侵入式的上肢辅助方案。与传统的EMG控制设备相比,ReGlove不需要依赖肌肉信号,因此更适用于肌肉功能严重受损的患者。此外,ReGlove采用边缘计算架构,可以在本地进行图像处理和控制决策,降低了对网络连接的依赖,提高了系统的实时性和可靠性。
关键设计:ReGlove采用基于YOLO的计算机视觉模型进行物体识别,并针对抓取任务进行了优化。具体来说,作者可能使用了迁移学习或数据增强等技术来提高模型的准确性和鲁棒性。此外,控制算法的设计也至关重要,需要根据不同的物体和抓取姿态,精确控制气动手套的气压和充气时间。具体的参数设置、损失函数和网络结构等技术细节,论文中可能没有详细描述,需要进一步研究。
📊 实验亮点
ReGlove系统在YCB对象操作任务中取得了82.71%的成功率,并在27项日常生活活动(ADL)任务中表现出可靠的性能。该系统实现了96.73%的抓取分类准确率,端到端延迟低于40毫秒。值得注意的是,ReGlove的总成本低于250美元,远低于现有的上肢辅助设备,使其更具可及性。
🎯 应用场景
ReGlove具有广泛的应用前景,可用于辅助中风、脊髓损伤等导致上肢功能障碍的患者进行日常生活活动,如吃饭、穿衣、洗漱等。此外,该技术还可以应用于工业领域,辅助工人进行精细操作或搬运重物,提高工作效率和安全性。未来,ReGlove有望成为一种普及型的上肢辅助设备,帮助更多人恢复生活自理能力。
📄 摘要(原文)
This paper presents ReGlove, a system that converts low-cost commercial pneumatic rehabilitation gloves into vision-guided assistive orthoses. Chronic upper-limb impairment affects millions worldwide, yet existing assistive technologies remain prohibitively expensive or rely on unreliable biological signals. Our platform integrates a wrist-mounted camera with an edge-computing inference engine (Raspberry Pi 5) to enable context-aware grasping without requiring reliable muscle signals. By adapting real-time YOLO-based computer vision models, the system achieves \SI{96.73}{\percent} grasp classification accuracy with sub-\SI{40.00}{\milli\second} end-to-end latency. Physical validation using standardized benchmarks shows \SI{82.71}{\percent} success on YCB object manipulation and reliable performance across \SI{27.00}{} Activities of Daily Living (ADL) tasks. With a total cost under \$\SI{250.00}{} and exclusively commercial components, ReGlove provides a technical foundation for accessible, vision-based upper-limb assistance that could benefit populations excluded from traditional EMG-controlled devices.