KinEMbed: Decoding Kinematics from Electromyography via Cross-Modal Contrastive Learning

📄 arXiv: 2607.04820v1 📥 PDF

作者: Sofia Gilardini, Chenfei Ma, Kianoush Nazarpour

分类: cs.LG

发布日期: 2026-07-06

备注: ICML 2026 Workshop on Structured Data for Health, Seoul, South Korea

💡 一句话要点

提出KinEMbed以解决从表面肌电图解码手部运动学问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 肌电图 运动学回归 对比学习 可穿戴技术 假肢控制 运动康复 多模态学习

📋 核心要点

  1. 现有的EMG表示学习方法主要集中于离散手势分类，缺乏对连续运动学回归的有效处理。
  2. KinEMbed通过跨模态对比学习框架，联合训练EMG特征和运动学目标的编码器，实现手部运动学的回归。
  3. 在NinaPro DB8数据集上，KinEMbed在保留会话中超越了多种基线方法，尤其在拇指关节活动度上表现突出。

📝 摘要（中文）

从表面肌电图（EMG）解码手部运动学是可穿戴生物信号处理中的核心挑战，具有临床意义，尤其在假肢控制和运动康复中。现有的EMG表示学习方法大多集中于离散手势分类，而对连续回归的关注较少。本文提出了KinEMbed，一个跨模态对比学习框架，用于手部运动学回归，联合训练两个编码器：一个用于窗口化的EMG特征，另一个用于运动学（关节角度）目标。所得到的嵌入继承了运动学空间的几何结构，而在推理时不需要运动学信号。通过在包含健全用户和肢体差异受试者的NinaPro DB8数据集上进行评估，KinEMbed在保留会话上超越了PCA、PLS、自编码器和对比（CEBRA）基线，尤其在最具挑战性的拇指关节活动度上取得了最大的提升。我们将这项工作视为从结构化可穿戴生物信号中进行手部运动学回归的对比表示学习的第一步。

🔬 方法详解

问题定义：本论文旨在解决从表面肌电图（EMG）解码手部运动学的挑战，现有方法多集中于离散手势分类，缺乏对连续运动学回归的关注，导致在实际应用中效果不佳。

核心思路：KinEMbed通过跨模态对比学习框架，设计了两个编码器，一个用于提取窗口化的EMG特征，另一个用于获取运动学目标（关节角度），从而实现对手部运动学的有效回归。

技术框架：该方法的整体架构包括两个主要模块：EMG特征编码器和运动学目标编码器。通过对比学习，两个编码器的输出嵌入能够在几何结构上保持一致，从而提高回归精度。

关键创新：KinEMbed的核心创新在于其跨模态对比学习的设计，使得在推理阶段不再依赖运动学信号，同时能够有效捕捉运动学空间的几何特征，这与传统方法有本质区别。

关键设计：在模型设计中，采用了特定的损失函数以优化对比学习过程，确保两个编码器的输出能够在特征空间中相互对齐。此外，网络结构经过精心设计，以适应EMG特征和运动学目标的特性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在NinaPro DB8数据集的实验中，KinEMbed在保留会话上超越了PCA、PLS、自编码器和对比（CEBRA）基线，尤其在拇指关节活动度上取得了显著提升，展示了该方法的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括假肢控制、运动康复和人机交互等。通过提高从生物信号中解码运动学的精度，KinEMbed有望在临床和日常生活中为用户提供更自然的控制体验，推动可穿戴技术的发展。

📄 摘要（原文）

Decoding hand kinematics from surface electromyography (EMG) is a core challenge in wearable biosignal processing with clinical relevance for prosthetic control and motor rehabilitation. Most representation learning approaches for EMG focus on discrete gesture classification, and few focus on continuous regression. We present KinEMbed, a cross-modal contrastive learning framework for hand kinematics regression that jointly trains dual encoders -- one for windowed EMG features and one for kinematic (joint angle) targets. The resulting embeddings inherit the geometric structure of the kinematic space without requiring kinematic signals at inference time. Evaluating on the NinaPro DB8 dataset that includes both able-bodied users and subjects with limb difference (N=11), KinEMbed outperforms PCA, PLS, autoencoder and contrastive (CEBRA) baselines on held-out sessions, with largest gains on the most challenging thumb degrees of articulation. We position this work as a first step toward contrastive representation learning for regression of hand kinematics from structured wearable biosignals.