Open-DiffLoco: Open-Source Differentiable Learning for Deployable Blind Quadruped Locomotion

📄 arXiv: 2608.02069v1 📥 PDF

作者: Martin Opat

分类: cs.RO, cs.LG, eess.SY

发布日期: 2026-08-03

备注: 8 pages, 5 figures, Project page, videos, and code available at: https://diffloco.martin-opat.com/

💡 一句话要点

提出Open-DiffLoco以解决盲四足机器人运动控制问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)

关键词: 四足机器人 可微仿真 强化学习 运动控制 开源框架 自主学习 策略训练

📋 核心要点

  1. 现有的强化学习方法在训练可部署的运动策略时，面临复杂的奖励设计和长时间训练的挑战。
  2. Open-DiffLoco框架通过可微仿真实现了盲四足运动策略的高效训练，简化了奖励函数并去除了特权观察。
  3. 在Unitree Go2四足机器人上，训练出的策略能够以低于0.2 m/s的均方根误差跟踪速度命令，并在不平坦地形上表现稳健。

📝 摘要（中文）

传统的强化学习方法在开发可部署的运动策略时，常常需要复杂的奖励工程和昂贵的训练时间。本文介绍了Open-DiffLoco，这是一个开源框架，利用可微仿真训练可部署的盲四足运动策略。该框架在MuJoCo XLA中实现了短视距演员-评论家（SHAC）算法，训练出一种不依赖于特定轨迹的本体感知策略。经过实验证明，该策略在物理硬件上表现出色，能够跟踪全向速度命令，且在不平坦地形和外部干扰下保持稳健。

🔬 方法详解

问题定义：本文旨在解决传统强化学习在训练可部署四足机器人运动策略时的复杂性和高成本问题，现有方法往往需要复杂的奖励设计和长时间的训练。

核心思路：Open-DiffLoco框架利用可微仿真技术，简化了奖励函数，去除了对特权观察的依赖，使得机器人能够自主发现行走模式。

技术框架：该框架实现了短视距演员-评论家（SHAC）算法，主要模块包括可微仿真环境、策略网络和训练过程，能够实现从仿真到实际硬件的端到端转移。

关键创新：Open-DiffLoco是首个开源框架，利用可微仿真训练可部署的运动策略，显著降低了训练复杂性和时间成本。

关键设计：在训练过程中，使用了简化的奖励函数，去除了对基线线性速度的依赖，并引入了雅可比增强值估计（JAVE）来改进策略梯度训练。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Unitree Go2四足机器人上，训练出的策略能够以低于0.2 m/s的均方根误差跟踪全向速度命令，达到超过1 m/s的速度，并在不平坦地形和外部干扰下保持稳健，展示了显著的性能提升。

🎯 应用场景

Open-DiffLoco框架在机器人运动控制领域具有广泛的应用潜力，尤其是在需要快速适应不同环境的四足机器人中。其开源特性使得研究人员和开发者能够在此基础上进行进一步的研究和应用，推动机器人技术的进步。

📄 摘要（原文）

Developing deployable locomotion policies through conventional reinforcement learning often requires complex reward engineering and expensive training times. While differentiable simulation offers a highly efficient alternative, open-source tools capable of end-to-end transfer of these policies to physical hardware remain limited. This paper introduces Open-DiffLoco, an open-source framework for training deployable blind quadruped locomotion policies with differentiable simulation. The framework implements the Short-Horizon Actor-Critic (SHAC) algorithm in MuJoCo XLA (MJX) and trains a proprioceptive policy that transfers to real-world hardware. The deployed policy removes privileged actor observations, including base linear velocity, and does not rely on reference trajectories. It also uses a substantially simplified reward function, enabling the robot to discover walking patterns without the complex auxiliary rewards typically used in conventional reinforcement learning pipelines. When deployed on physical hardware (a Unitree Go2 quadruped), the trained policy tracks omnidirectional velocity commands with root-mean-square error below 0.2 m/s, reaches speeds above 1 m/s, and remains robust to uneven terrain and external physical disturbances, such as lateral pushes. Across the reported configurations, training uses under 6 GB of VRAM on a single NVIDIA GeForce RTX 5080 GPU and completes in approximately 20-60 minutes. As an algorithmic extension to SHAC, we propose Jacobian-Augmented Value Estimation (JAVE), which supervises the critic Jacobians to improve early first-order policy-gradient training. To our knowledge, Open-DiffLoco is the first open-source framework for training deployable locomotion policies using differentiable simulation. Deployment videos and source code are available at: https://diffloco.martin-opat.com/