Tendon Force Modeling for Sim2Real Transfer of Reinforcement Learning Policies for Tendon-Driven Robots
作者: Valentin Yuryev, Josie Hughes
分类: cs.RO
发布日期: 2026-03-04
备注: preprint
💡 一句话要点
提出基于Transformer的肌腱力建模方法，提升肌腱驱动机器人强化学习策略的Sim2Real迁移效果。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 肌腱驱动机器人 强化学习 Sim2Real 肌腱力建模 Transformer 机器人控制
📋 核心要点
- 现有基于力矩和力的强化学习方法在肌腱驱动机器人控制中受限于Sim2Real差距，导致策略迁移效果差。
- 提出一种基于Transformer的肌腱力建模方法，利用上下文历史信息和新型测试平台，提升仿真精度。
- 实验结果表明，该方法能有效减小Sim2Real差距，并在真实机器人上提升指尖姿态跟踪性能。
📝 摘要（中文）
本文提出了一种肌腱力建模方法，旨在提升肌腱驱动机器人强化学习（RL）策略的Sim2Real迁移效果。肌腱驱动机构能够灵活地布置驱动器并保持柔顺性，但其控制复杂。虽然基于力矩和力仿真的RL方法有潜力生成复杂行为，但由于执行器和系统动力学造成的Sim2Real差距，导致策略在真实机器人上的表现不佳。本文利用上下文历史信息和一个新型数据收集测试平台，扩展了现有的数据驱动技术，以模拟真实世界操作中常见的接触交互下的肌腱力。该测试平台能够捕捉肌腱力。然后，我们利用力估计模型在GPU加速的肌腱力驱动刚体仿真中训练基于RL的控制器。基于Transformer的模型能够预测最大电机力的3%以内的肌腱力，并且与机器人无关。通过将学习到的模型集成到仿真中，测试轨迹的Sim2Real差距减少了41%。使用该模型训练的基于RL的控制器在真实肌腱驱动机器人手指的指尖姿态跟踪任务中实现了50%的改进。该方法可推广到不同的执行器和机器人系统，并可使RL策略广泛应用于肌腱系统，从而提高灵巧机械手和软机器人的能力。
🔬 方法详解
问题定义：论文旨在解决肌腱驱动机器人的强化学习策略在从仿真环境迁移到真实环境时性能下降的问题。现有的基于力矩和力的仿真方法无法准确模拟真实肌腱系统的复杂动力学特性，特别是执行器和系统动力学造成的Sim2Real差距，导致在仿真环境中训练的策略在真实机器人上表现不佳。
核心思路：论文的核心思路是通过建立一个精确的肌腱力模型来缩小Sim2Real差距。该模型能够预测由伺服电机产生的肌腱力，并将其集成到刚体仿真环境中，从而更真实地模拟肌腱驱动机器人的行为。通过在更真实的仿真环境中训练强化学习策略，可以提高策略在真实机器人上的泛化能力。
技术框架：整体框架包括三个主要阶段：1) 数据收集：使用一个专门设计的测试平台收集肌腱力数据，该平台能够模拟真实世界操作中常见的接触交互。2) 肌腱力建模：使用Transformer模型，基于上下文历史信息预测肌腱力。3) 强化学习训练：将学习到的肌腱力模型集成到GPU加速的刚体仿真环境中，训练基于RL的控制器。
关键创新：论文的关键创新在于：1) 提出了一个新型的数据收集测试平台，能够捕捉真实世界操作中常见的接触交互下的肌腱力数据。2) 使用Transformer模型进行肌腱力建模，能够有效利用上下文历史信息，提高预测精度。3) 将学习到的肌腱力模型集成到刚体仿真环境中，从而更真实地模拟肌腱驱动机器人的行为。
关键设计：数据收集测试平台的设计考虑了真实机器人操作的复杂性，能够模拟各种接触情况。Transformer模型的输入包括电机的位置、速度和力矩等信息，输出为预测的肌腱力。损失函数采用均方误差（MSE），优化目标是最小化预测肌腱力与真实肌腱力之间的差异。强化学习算法采用PPO（Proximal Policy Optimization），奖励函数根据具体的任务目标进行设计，例如指尖姿态跟踪任务中，奖励函数与指尖的期望位置和实际位置之间的距离有关。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法能够显著减小Sim2Real差距，测试轨迹的Sim2Real差距减少了41%。基于Transformer的模型能够预测最大电机力的3%以内的肌腱力，并且与机器人无关。使用该模型训练的基于RL的控制器在真实肌腱驱动机器人手指的指尖姿态跟踪任务中实现了50%的改进。这些结果表明，该方法能够有效提高肌腱驱动机器人的控制性能。
🎯 应用场景
该研究成果可广泛应用于肌腱驱动的灵巧机械手、软体机器人等领域。通过提高Sim2Real迁移效果，可以加速这些机器人在复杂操作任务中的应用，例如医疗手术、精密装配、灾难救援等。该方法还可以推广到其他类型的执行器和机器人系统，为机器人控制提供更可靠的仿真环境。
📄 摘要（原文）
Robots which make use of soft or compliant inter- actions often leverage tendon-driven actuation which enables actuators to be placed more flexibly, and compliance to be maintained. However, controlling complex tendon systems is challenging. Simulation paired with reinforcement learning (RL) could be enable more complex behaviors to be generated. Such methods rely on torque and force-based simulation roll- outs which are limited by the sim-to-real gap, stemming from the actuator and system dynamics, resulting in poor transfer of RL policies onto real robots. To address this, we propose a method to model the tendon forces produced by typical servo motors, focusing specifically on the transfer of RL policies for a tendon driven finger. Our approach extends existing data- driven techniques by leveraging contextual history and a novel data collection test-bench. This test-bench allows us to capture tendon forces undergo contact-rich interactions typical of real- world manipulation. We then utilize our force estimation model in a GPU-accelerated tendon force-driven rigid body simulation to train RL-based controllers. Our transformer-based model is capable of predicting tendon forces within 3% of the maximum motor force and is robot-agnostic. By integrating our learned model into simulation, we reduce the sim-to-real gap for test trajectories by 41%. RL-based controller trained with our model achieves a 50% improvement in fingertip pose tracking tasks on real tendon-driven robotic fingers. This approach is generalizable to different actuators and robot systems, and can enable RL policies to be used widely across tendon systems, advancing capabilities of dexterous manipulators and soft robots.