Actuator Reality Shaping for Zero-Shot Sim-to-Real Robot Learning
作者: Satoshi Yamamori, Koji Ishihara, Kentaro Minamikawa, Kiyoharu Ohomori, Taiyo Yazaki, Norikazu Sugimoto, Jun Morimoto
分类: cs.RO
发布日期: 2026-07-02
备注: 15 pages, 6 figures
💡 一句话要点
提出执行器现实塑形以解决零-shot仿真到现实的机器人学习问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 仿真到现实 机器人学习 执行器控制 强化学习 零-shot转移 闭环控制 非线性动态
📋 核心要点
- 现有的仿真到现实转移方法通常依赖于提高仿真器的真实度，但难以解决物理执行器的非线性行为与理想模型之间的差异。
- 本文提出的执行器现实塑形方法通过调整物理执行器的行为，使其与仿真中的理想动态相匹配，从而实现零-shot部署。
- 实验验证表明，该方法在高齿比伺服电机和7自由度机器人臂的任务中显著降低了跟踪误差，并在多种硬件平台上实现了零-shot转移。
📝 摘要（中文）
在机器人学习中，仿真到现实的转移常受到理想执行器动态与物理电机非线性行为之间差异的限制。本文提出了一种新的范式——执行器现实塑形，旨在通过调整物理执行器的闭环行为，使其与仿真中使用的理想化二阶参考动态相匹配。通过为每个关节配备双自由度前馈-反馈控制器，本文实现了参考响应塑形与鲁棒稳定性的解耦，从而为强化学习策略提供了标准化的执行器接口。实验结果表明，该方法在多个任务中显著降低了仿真到现实的跟踪误差，并提升了零-shot任务性能。
🔬 方法详解
问题定义：本文旨在解决仿真到现实转移中，理想执行器动态与实际电机行为之间的差异问题。现有方法通常通过提高仿真器的真实度来尝试弥补这一差距，但效果有限。
核心思路：论文提出的执行器现实塑形方法，通过调整物理执行器的闭环行为，使其与仿真中使用的理想化二阶参考动态相匹配，避免了对仿真器的修改。
技术框架：该方法的整体架构包括为每个关节设计双自由度前馈-反馈控制器，解耦参考响应塑形与鲁棒稳定性，形成标准化的执行器接口，以便于强化学习策略的应用。
关键创新：最重要的创新在于执行器现实塑形的概念，通过调整物理执行器的行为，而非修改仿真环境，提供了一种新的解决方案，与传统方法形成鲜明对比。
关键设计：在设计中，采用了双自由度控制器，确保了执行器在不同负载下的稳定性和响应性，具体的参数设置和损失函数设计未在摘要中详细说明，需参考原文获取更多细节。
🖼️ 关键图片
📊 实验亮点
实验结果显示，执行器现实塑形方法在高齿比伺服电机和7自由度机器人臂的任务中，显著降低了仿真到现实的跟踪误差，提升了零-shot任务性能，相较于标准伺服控制和其他基线方法，表现出更优的效果。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、工业自动化和人机协作等场景。通过提供一种可重用的执行器接口，执行器现实塑形能够在不同硬件平台上实现高效的机器人学习，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Sim-to-real transfer in robot learning is often limited by discrepancies between the ideal actuator dynamics assumed during policy training and the nonlinear, hardware-dependent behavior of physical motors. While conventional approaches attempt to bridge this gap by increasing simulator fidelity through system identification, domain randomization, or learned actuator models, we introduce an alternative paradigm: actuator reality shaping. Instead of modifying the simulator to match the real world, our method shapes the closed-loop behavior of physical actuators to match the idealized second-order reference dynamics used in simulation. By equipping each joint with a two-degree-of-freedom feedforward--feedback controller, we decouple reference-response shaping from robust stabilization, thereby providing a standardized actuator interface for reinforcement learning policies. As a result, policies trained only with the prescribed reference model can be deployed zero-shot on real hardware without task-level fine-tuning or learned actuator models. We validate the approach on a single-joint high-gear-ratio servo under external loads and a 7-DOF robotic arm reaching task, where actuator reality shaping substantially reduces sim-to-real tracking error and improves zero-shot task performance compared with standard servo-control and representative real-to-sim-to-real baselines. We further demonstrate zero-shot transfer on a wheeled-legged robot driving over a slope and a humanoid robot walking, suggesting that actuator reality shaping can serve as a reusable interface for robot learning across diverse hardware platforms.