Sim-to-Real Transfer for Muscle-Actuated Robots via Generalized Actuator Networks

📄 arXiv: 2604.09487v1 📥 PDF

作者: Jan Schneider, Mridul Mahajan, Le Chen, Simon Guist, Bernhard Schölkopf, Ingmar Posner, Dieter Büchler

分类: cs.RO, cs.LG

发布日期: 2026-04-10

💡 一句话要点

提出广义执行器网络GeAN，实现肌肉驱动机器人从仿真到真实的策略迁移

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 肌肉驱动机器人 仿真到真实迁移 广义执行器网络 机器人控制 强化学习

📋 核心要点

  1. 肌肉驱动机器人因其速度和安全性优势而备受关注，但其固有的非线性、摩擦和滞后性使得建模和控制变得复杂，阻碍了策略从仿真到真实系统的迁移。
  2. 本文提出了一种名为广义执行器网络（GeAN）的方法，通过学习执行器模型的神经网络，并结合刚体仿真，实现了从仿真到真实的策略迁移。
  3. 在PAMY2机器人上的实验表明，该方法成功地将仿真中训练的策略迁移到真实机器人上，实现了精确的目标到达和动态球杯任务。

📝 摘要（中文）

本文提出了一种用于肌肉驱动机器人的仿真到真实迁移的流水线方法。该方法通过学习神经网路模型来模拟复杂的驱动系统，并利用成熟的刚体仿真来模拟机械臂的动力学和与环境的交互。该方法被称为广义执行器网络（GeAN），它通过直接从关节位置轨迹学习，而非依赖扭矩传感器，实现了对多种机器人执行器模型的识别。在PAMY2（一种由气动人工肌肉驱动的肌腱驱动机器人）上的实验表明，该方法成功地部署了完全在仿真中训练的精确目标到达和动态球杯策略。据我们所知，这是首次成功地将仿真策略迁移到四自由度肌肉驱动的机器人手臂上。

🔬 方法详解

问题定义：现有肌肉驱动机器人由于其复杂的非线性、摩擦和滞后效应，难以建立精确的模型，导致在仿真环境中训练的控制策略无法直接迁移到真实机器人上。传统的控制方法往往需要精确的扭矩传感器，增加了硬件成本和系统复杂性。

核心思路：本文的核心思路是学习一个广义的执行器模型，该模型能够捕捉肌肉驱动系统的复杂动力学特性。通过将该模型与刚体仿真相结合，可以在仿真环境中训练控制策略，然后将其迁移到真实机器人上。这种方法避免了对肌肉驱动系统进行精确建模的难题，并降低了对硬件传感器的依赖。

技术框架：该方法主要包含两个阶段：执行器模型学习和策略训练。在执行器模型学习阶段，利用神经网络（GeAN）学习肌肉驱动系统的输入（例如气压）和输出（关节位置）之间的关系。在策略训练阶段，使用刚体仿真环境，结合学习到的执行器模型，训练控制策略。最后，将训练好的策略部署到真实机器人上。

关键创新：该方法的关键创新在于提出了广义执行器网络（GeAN），它能够直接从关节位置轨迹学习执行器模型，而无需扭矩传感器。GeAN的设计允许其适用于各种不同的肌肉驱动机器人，具有很强的泛化能力。此外，该方法将执行器模型学习与刚体仿真相结合，充分利用了现有仿真工具的优势。

关键设计：GeAN是一个神经网络，其输入是执行器的控制信号（例如气压），输出是关节位置。网络的结构可以根据具体的机器人进行调整。损失函数通常包括关节位置误差和关节速度误差。在训练过程中，使用真实机器人的数据来训练GeAN。为了提高模型的泛化能力，可以使用数据增强技术，例如添加噪声或改变输入信号的幅度。

📊 实验亮点

该研究在PAMY2机器人上取得了显著成果，成功地将完全在仿真中训练的精确目标到达和动态球杯策略部署到真实机器人上。据作者所知，这是首次成功地将仿真策略迁移到四自由度肌肉驱动的机器人手臂上。实验结果表明，该方法能够有效地克服肌肉驱动系统的复杂性，实现高精度的机器人控制。

🎯 应用场景

该研究成果可广泛应用于肌肉驱动机器人的控制和仿真领域，尤其是在需要高柔性和安全性的应用场景中，如医疗康复机器人、人机协作机器人等。通过降低对精确建模和昂贵传感器的依赖，该方法有望加速肌肉驱动机器人的实际应用，并促进更安全、更高效的人机交互。

📄 摘要（原文）

Tendon drives paired with soft muscle actuation enable faster and safer robots while potentially accelerating skill acquisition. Still, these systems are rarely used in practice due to inherent nonlinearities, friction, and hysteresis, which complicate modeling and control. So far, these challenges have hindered policy transfer from simulation to real systems. To bridge this gap, we propose a sim-to-real pipeline that learns a neural network model of this complex actuation and leverages established rigid body simulation for the arm dynamics and interactions with the environment. Our method, called Generalized Actuator Network (GeAN), enables actuation model identification across a wide range of robots by learning directly from joint position trajectories rather than requiring torque sensors. Using GeAN on PAMY2, a tendon-driven robot powered by pneumatic artificial muscles, we successfully deploy precise goal-reaching and dynamic ball-in-a-cup policies trained entirely in simulation. To the best of our knowledge, this result constitutes the first successful sim-to-real transfer for a four-degrees-of-freedom muscle-actuated robot arm.