A Wearable Multimodal Ultrasound+Inertial System for Real-Time Virtual Reality Interaction
作者: Giusy Spacone, Sebastian Frey, Enzo Baraldi, Mattia Orlandi, Luca Benini, Andrea Cossettini
分类: eess.SY, cs.HC
发布日期: 2026-06-16
备注: 8 pages, 8 figures, 3 tables
💡 一句话要点
提出可穿戴多模态超声+惯性系统以实现实时虚拟现实交互
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 可穿戴技术 多模态传感 虚拟现实 超声传感 惯性测量 实时交互 机器学习
📋 核心要点
- 现有的虚拟现实交互方法在可穿戴性和交互复杂性方面存在不足，通常依赖外部硬件。
- 本文提出了一种基于超声和惯性传感的可穿戴多模态接口，支持实时虚拟现实交互。
- 实验结果显示，该系统在手部姿态和前臂位置估计上具有高准确率，且功耗低，适合长时间使用。
📝 摘要（中文）
A模式超声（US）是一种有前景的虚拟现实（VR）交互传感方式，能够将肌肉活动映射为控制命令，同时保持可穿戴传感的优势。然而，现有方法在可穿戴性和交互复杂性方面仍面临限制，通常依赖于外部硬件如摄像头。本文提出了一种完全可穿戴的多模态接口，基于前臂和上臂的超声与惯性（加速度）传感的并行使用，支持实时VR交互。该系统基于WULPUS平台构建，集成了用于实时采集、可视化和与基于Unity的VR环境通信的端到端软件框架。引入了一种多模态学习管道，用于在二维空间中同时估计手部姿态和前臂位置。通过对五名受试者进行的离线和在线实验评估该接口，结果显示在执行三项功能任务时，离线实验的手部姿态估计平均准确率为80±6%，前臂位置估计为77±7%。在线验证显示，经过最小的微调后，三项任务的成功率分别为92.0±16.0%、88.0±9.8%和96.0±8.0%。该系统功耗仅为19.9 mW，能够在350 mAh的锂聚合物电池上实现超过2.5天的连续使用，真正实现可穿戴、多模态且功能意义明确的VR交互。
🔬 方法详解
问题定义：本文旨在解决现有虚拟现实交互方法在可穿戴性和交互复杂性方面的不足，尤其是对外部硬件的依赖。
核心思路：提出一种基于前臂和上臂的超声与惯性传感的多模态接口，能够实时捕捉用户的肌肉活动和手部姿态，实现更自然的VR交互。
技术框架：系统基于WULPUS平台，包含实时数据采集、可视化和与Unity VR环境的通信模块，采用多模态学习管道进行数据处理。
关键创新：本研究的创新点在于实现了完全可穿戴的多模态接口，避免了对外部设备的依赖，提升了交互的灵活性和便捷性。
关键设计：系统设计中采用了高效的传感器布局和低功耗设计，确保在长时间使用下仍能保持良好的性能，且在手部姿态和前臂位置估计上实现了高准确率。
🖼️ 关键图片
📊 实验亮点
实验结果显示，离线实验中手部姿态估计的平均准确率为80±6%，前臂位置估计为77±7%。在线验证中，经过5分钟的微调后，三项功能任务的成功率分别达到92.0±16.0%、88.0±9.8%和96.0±8.0%，展示了系统的高效性和可靠性。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实游戏、远程医疗、康复训练等，能够为用户提供更自然和直观的交互体验。随着技术的成熟，该系统有望在多个行业中推广应用，提升人机交互的效率和效果。
📄 摘要（原文）
A-mode ultrasound (US) is a promising sensing modality for Virtual Reality (VR) interaction, as it enables the mapping of muscular activity into control commands while retaining the benefits of wearable sensing. However, existing approaches still face limitations in terms of wearability and interaction complexity, often relying on external hardware such as cameras. In this work, we propose a fully wearable multimodal interface for real-time VR-interaction, based on concurrent US and inertial (accelerometry) sensing from the forearm and upper arm. The system is built on the WULPUS platform and integrates an end-to-end software framework for real-time acquisition, visualization, and communication with a Unity-based VR environment. A multimodal learning pipeline is introduced for concurrent hand pose and forearm position estimation in 2D space. The interface is evaluated through offline and online experiments with five subjects, during the execution of three functional tasks: cylinder grasping (gross motor) and relocation, marble pinching (fine motor) and relocation, and liquid pouring. For offline experiments, we collect 5 acquisition sessions across multiple days, achieving an average inter-session accuracy across subjects of 80$\pm$6\% for hand pose estimation and 77$\pm$7\% for forearm position estimation. Online validation with minimal fine-tuning (5 min) demonstrates success rates of 92.0$\pm$16.0\%, 88.0$\pm$9.8\%, and 96.0$\pm$8.0\% for the three tasks, respectively. With a power consumption of only 19.9~mW, our system enables more than 2.5 days of continuous use on a small 350 mAh LiPo battery without the need for recharge, enabling truly wearable, multimodal, and functionally meaningful VR interaction.