Massively Parallel Imitation Learning of Mouse Forelimb Musculoskeletal Reaching Dynamics

📄 arXiv: 2511.21848v1 📥 PDF

作者: Eric Leonardis, Akira Nagamori, Ayesha Thanawalla, Yuanjia Yang, Joshua Park, Hutton Saunders, Eiman Azim, Talmo Pereira

分类: cs.LG, cs.RO, q-bio.NC, q-bio.QM

发布日期: 2025-11-26

备注: Accepted at NeurIPS 2025 Workshop Data on the Brain & Mind: Concrete Applications of AI to Neuroscience and Cognitive Science. 12 pages, 4 figures

💡 一句话要点

提出基于大规模并行模仿学习的小鼠前肢肌肉骨骼运动动力学建模方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 模仿学习 肌肉骨骼建模 运动控制 生物力学 GPU加速

📋 核心要点

  1. 现有方法难以精确模拟生物体复杂的肌肉骨骼运动控制，尤其是在高自由度的情况下。
  2. 该论文提出了一种基于模仿学习的框架，通过学习真实运动数据，在模拟环境中重现生物体的运动。
  3. 实验结果表明，加入能量和速度等自然约束后，模拟的肌肉骨骼活动能更好地预测真实的肌电信号。

📝 摘要（中文）

为了理解大脑如何有效地控制身体，我们需要对具身控制下的感觉运动转换进行建模。作为一项协同工作的一部分，我们正在开发一个通用平台，用于进行行为驱动的仿真建模，该平台能够高保真地模拟行为动力学、生物力学以及具身控制下的神经回路结构。我们提出了一个流程，用于从神经科学实验室获取运动学数据，并创建一个流程，在生物力学模型中重现这些自然运动。我们实现了一个模仿学习框架，以在模拟物理环境中，使用肌肉骨骼模型执行灵巧的前肢抓取任务。由于JAX和Mujoco-MJX的GPU加速，小鼠手臂模型目前的训练速度超过每秒100万步。我们展示的结果表明，对能量和速度施加自然约束可以使模拟的肌肉骨骼活动更好地预测真实的EMG信号。这项工作提供的证据表明，能量和控制约束对于肌肉骨骼运动控制建模至关重要。

🔬 方法详解

问题定义：现有方法在模拟生物体肌肉骨骼运动时，难以兼顾运动的自然性和控制的复杂性。尤其是在高自由度的前肢运动中，如何准确模拟肌肉的激活模式，并使其与真实的肌电信号相符，是一个挑战。现有方法往往难以捕捉到运动中的能量消耗和速度变化等关键因素，导致模拟结果与真实情况存在偏差。

核心思路：该论文的核心思路是通过模仿学习，让模型从真实的运动数据中学习运动的模式和规律。通过对模型施加自然约束，例如能量消耗和速度变化，可以使模型更好地学习到运动的内在机制，从而提高模拟结果的准确性。这种方法避免了手动设计复杂的控制策略，而是通过数据驱动的方式，让模型自动学习运动控制策略。

技术框架：该论文构建了一个基于模仿学习的肌肉骨骼运动模拟框架。首先，从神经科学实验室获取小鼠前肢的运动学数据。然后，将这些数据用于训练一个肌肉骨骼模型，使其能够模仿小鼠的运动。该模型在模拟物理环境中进行训练，并使用JAX和Mujoco-MJX进行GPU加速，以提高训练速度。在训练过程中，对模型施加能量和速度等自然约束，以提高模拟结果的准确性。最后，将模拟的肌肉骨骼活动与真实的肌电信号进行比较，以评估模型的性能。

关键创新：该论文的关键创新在于将模仿学习与自然约束相结合，用于模拟肌肉骨骼运动。通过模仿学习，模型可以从真实数据中学习运动模式，而自然约束则可以帮助模型更好地学习运动的内在机制。此外，该论文还利用GPU加速技术，大大提高了训练速度，使得大规模的肌肉骨骼运动模拟成为可能。

关键设计：在模型设计方面，论文使用了Mujoco-MJX作为物理引擎，JAX作为数值计算框架，以实现高效的GPU加速。在损失函数设计方面，除了模仿学习的损失函数外，还加入了能量和速度相关的约束项，以鼓励模型学习更自然的运动模式。具体的参数设置和网络结构等技术细节在论文中未详细描述，属于未知信息。

📊 实验亮点

该研究实现了超过每秒100万步的训练速度，这得益于JAX和Mujoco-MJX的GPU加速。实验结果表明，加入能量和速度等自然约束后，模拟的肌肉骨骼活动能更好地预测真实的肌电信号，验证了能量和控制约束对于肌肉骨骼运动控制建模的重要性。具体的性能提升数据未知。

🎯 应用场景

该研究成果可应用于生物力学、神经科学和康复医学等领域。通过构建高精度的肌肉骨骼运动模型，可以帮助研究人员更好地理解生物体的运动控制机制，为运动障碍的诊断和治疗提供新的思路。此外，该模型还可以用于开发更智能的假肢和外骨骼，帮助残疾人恢复运动能力。

📄 摘要（原文）

The brain has evolved to effectively control the body, and in order to understand the relationship we need to model the sensorimotor transformations underlying embodied control. As part of a coordinated effort, we are developing a general-purpose platform for behavior-driven simulation modeling high fidelity behavioral dynamics, biomechanics, and neural circuit architectures underlying embodied control. We present a pipeline for taking kinematics data from the neuroscience lab and creating a pipeline for recapitulating those natural movements in a biomechanical model. We implement a imitation learning framework to perform a dexterous forelimb reaching task with a musculoskeletal model in a simulated physics environment. The mouse arm model is currently training at faster than 1 million training steps per second due to GPU acceleration with JAX and Mujoco-MJX. We present results that indicate that adding naturalistic constraints on energy and velocity lead to simulated musculoskeletal activity that better predict real EMG signals. This work provides evidence to suggest that energy and control constraints are critical to modeling musculoskeletal motor control.