MotorSense: A Video-EMG Dataset of Motoric Representations for Action Understanding

📄 arXiv: 2610.41127v1 📥 PDF

作者: Eadom Dessalene, Michael Maynord, Amir-Hossein Shahidzadeh, Botao He, Yasamin Tabatabaee, Ruoshi Liu, Ruohan Gao, Paul Pu Liang, Yiannis Aloimonos

分类: cs.CV, cs.RO

发布日期: 2026-10-30

备注: NeurIPS 2026. 27 pages, 9 figures, 5 tables. Project page: https://www.cs.umd.edu/~edessale/motorsense/

💡 一句话要点

提出MotorSense数据集以解决动作理解中的信号缺失问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 长视频理解 多模态融合 动作识别 肌电图 传感器运动对齐 深度学习 计算机视觉

📋 核心要点

  1. 现有计算机视觉方法仅依赖视觉信息，缺乏对手部动作背后运动信号的理解，导致动作识别的准确性不足。
  2. 论文提出MotorSense数据集，通过将EMG信号与视频数据配对，促进视觉与运动信号的跨模态预训练，实现传感器运动对齐。
  3. 实验结果表明，传感器运动对齐在四个动作中心的计算机视觉任务中优于传统自监督学习方法，所有任务和数据集均超越了基线性能。

📝 摘要（中文）

计算机视觉模型通常仅通过视觉结果学习手部动作，而忽略了基础的运动信号。为了解决这一问题，本文提出了MotorSense，这是第一个大规模的配对自我中心视频和表面肌电图（EMG）数据集。MotorSense将双手EMG信号与自我中心视频配对，提供同步的视频、双手EMG、IMU和音频数据，涵盖100小时的非脚本化操作。EMG作为一种强大的可扩展替代方案，能够捕捉手指运动、手部配置及手与环境之间施加的力量，避免了人工标注的高成本和主观性。通过MotorSense进行传感器运动对齐学习，本文在多个下游任务中展示了其在动作识别、3D手部重建和接触重建等方面的优势。

🔬 方法详解

问题定义：本文旨在解决计算机视觉模型在学习手部动作时缺乏运动信号的问题。现有方法依赖视觉信息，导致动作识别的准确性和可靠性不足，尤其在遮挡情况下。

核心思路：论文的核心思路是通过MotorSense数据集，将双手EMG信号与自我中心视频配对，利用EMG信号捕捉手部动作的细节，从而实现视觉与运动信号的对齐。

技术框架：整体架构包括数据采集、EMG与视频的同步、跨模态预训练和下游任务应用。主要模块包括EMG信号处理、视频特征提取和传感器运动对齐模型。

关键创新：最重要的技术创新在于利用EMG信号作为一种密集且无遮挡的标注方式，替代传统的人工标注，显著提高了动作理解的准确性和效率。

关键设计：在模型设计中，采用了多模态融合技术，设置了适当的损失函数以优化视觉与运动信号的对齐，同时使用了深度学习网络结构来处理EMG和视频数据。具体参数设置和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在四个动作中心的计算机视觉任务中，传感器运动对齐方法在所有评估的任务和数据集上均超越了传统自监督学习方法，展示了显著的性能提升，具体提升幅度超过了基线的XX%。

🎯 应用场景

该研究的潜在应用领域包括人机交互、虚拟现实、机器人控制等。通过实现更准确的动作理解，MotorSense数据集可以推动智能系统在复杂环境中的应用，提升用户体验和操作效率。未来，该技术可能在医疗康复、运动分析等领域发挥重要作用。

📄 摘要（原文）

Computer vision models learn hand action only from its visual consequences, without access to the underlying embodied motor signals. We address this absence with MotorSense, the first large-scale paired egocentric video and surface electromyography (EMG) dataset. MotorSense pairs bimanual EMG bands with egocentric video and yields synchronized video, bimanual EMG and IMU, and audio across 100 hours of unscripted manipulation. EMG offers a powerful scalable alternative to manual annotation: it captures finger movement, hand configuration, and the forces exerted between hand and environment as a dense signal free of occlusion and labeler bias, whereas manual annotation is costly, subjective, and unreliable under occlusion. We use MotorSense to learn sensorimotor alignment, producing an organization of action that is shared across the visual and motoric spaces, through cross-modal pre-training between video and EMG. The resultant vision models are then transferred to downstream tasks that benefit from sensorimotor alignment: in this case, action recognition, 3D hand reconstruction, and 3D contact reconstruction. We further demonstrate a generative application in which EMG motor signals are used to condition a video diffusion model, yielding videos of fine-grained hand manipulation. Across four action-centric computer vision tasks and eight popular video datasets, we demonstrate that sensorimotor alignment provides a stronger foundation for visual representation learning than conventional self-supervised learning methods over video, outperforming every baseline across all tasks and datasets evaluated.