Chasing Stability: Humanoid Running via Control Lyapunov Function Guided Reinforcement Learning

📄 arXiv: 2509.19573v1 📥 PDF

作者: Zachary Olkin, Kejun Li, William D. Compton, Aaron D. Ames

分类: cs.RO

发布日期: 2025-09-23

备注: Submitted to ICRA 2026

💡 一句话要点

提出基于控制Lyapunov函数引导的强化学习方法，实现人形机器人稳定奔跑

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 人形机器人 强化学习 控制Lyapunov函数 运动控制 奔跑 非线性控制

📋 核心要点

  1. 人形机器人奔跑等高动态运动控制面临鲁棒性和精确性挑战，传统方法难以应对非线性混合动力学。
  2. 论文提出CLF-RL方法，将控制Lyapunov函数和优化轨迹融入强化学习，引导学习过程，保证稳定性。
  3. 实验表明，该方法使机器人能够在跑步机和户外环境中稳定奔跑，并对扰动具有鲁棒性，实现全局参考跟踪。

📝 摘要（中文）

为了让人形机器人实现高动态行为，例如奔跑，需要设计既鲁棒又精确的控制器，这非常困难。经典控制方法为这类系统的稳定性提供了宝贵的见解，但为非线性混合动力学系统合成实时控制器仍然具有挑战性。最近，强化学习（RL）因其处理复杂动力学系统的能力而在运动控制领域广受欢迎。本文将非线性控制理论中的控制Lyapunov函数（CLF）以及优化的动态参考轨迹嵌入到强化学习训练过程中，以塑造奖励函数。这种CLF-RL方法无需手工设计和调整启发式奖励项，同时鼓励可证明的稳定性，并提供有意义的中间奖励来指导学习。通过将策略学习建立在动态可行的轨迹上，扩展了机器人的动态能力，并实现了包括飞行和单支撑阶段的奔跑。实验结果表明，该策略在跑步机和户外环境中都能可靠运行，对躯干和脚部的扰动具有鲁棒性。此外，它仅使用板载传感器即可实现精确的全局参考跟踪，这是将这些动态运动集成到完整自主系统中的关键一步。

🔬 方法详解

问题定义：论文旨在解决人形机器人奔跑控制问题，现有方法难以在保证稳定性的同时实现高动态的奔跑运动。传统控制方法难以处理复杂的非线性混合动力学，而纯粹的强化学习方法需要手动设计和调整复杂的奖励函数，缺乏理论保证，且训练效率较低。

核心思路：论文的核心思路是将非线性控制理论中的控制Lyapunov函数（CLF）融入到强化学习的奖励函数设计中。CLF能够提供系统稳定性的度量，将其作为奖励函数的一部分，可以引导强化学习算法学习到稳定的控制策略。同时，利用优化的动态参考轨迹，为强化学习提供一个动态可行的目标，加速学习过程。

技术框架：整体框架包括三个主要部分：1) 动态参考轨迹生成器，用于生成期望的奔跑轨迹；2) 基于CLF的奖励函数设计，将CLF值作为奖励的一部分，鼓励策略的稳定性；3) 强化学习训练器，使用设计的奖励函数训练控制策略。训练完成后，将策略部署到人形机器人上进行奔跑实验。

关键创新：论文的关键创新在于将控制理论中的CLF与强化学习相结合，提出了一种新的奖励函数设计方法。与传统的启发式奖励函数相比，CLF能够提供系统稳定性的理论保证，避免了手动调整奖励函数的繁琐过程。此外，结合优化的动态参考轨迹，能够加速强化学习的收敛速度，并提高策略的性能。

关键设计：论文中，CLF的选择至关重要，需要根据具体的机器人动力学模型进行设计。奖励函数的设计包括CLF项、轨迹跟踪项和动作惩罚项。强化学习算法可以选择常见的算法，如PPO或SAC。动态参考轨迹的生成可以使用优化方法，如直接搭配法或多项式插值。具体的参数设置需要根据实验结果进行调整。

📊 实验亮点

实验结果表明，该方法训练得到的策略能够在跑步机和户外环境中稳定奔跑，并对躯干和脚部的扰动具有鲁棒性。机器人能够仅使用板载传感器实现精确的全局参考跟踪。与传统的强化学习方法相比，该方法能够更快地收敛，并获得更高的性能。这些结果表明，该方法在人形机器人奔跑控制方面具有显著的优势。

🎯 应用场景

该研究成果可应用于人形机器人的运动控制，使其能够在复杂环境中执行任务，例如搜救、巡检和辅助医疗。通过提高人形机器人的运动能力和鲁棒性，可以扩展其应用范围，使其在更多领域发挥作用。未来，该技术有望应用于更高级的自主导航和人机协作任务。

📄 摘要（原文）

Achieving highly dynamic behaviors on humanoid robots, such as running, requires controllers that are both robust and precise, and hence difficult to design. Classical control methods offer valuable insight into how such systems can stabilize themselves, but synthesizing real-time controllers for nonlinear and hybrid dynamics remains challenging. Recently, reinforcement learning (RL) has gained popularity for locomotion control due to its ability to handle these complex dynamics. In this work, we embed ideas from nonlinear control theory, specifically control Lyapunov functions (CLFs), along with optimized dynamic reference trajectories into the reinforcement learning training process to shape the reward. This approach, CLF-RL, eliminates the need to handcraft and tune heuristic reward terms, while simultaneously encouraging certifiable stability and providing meaningful intermediate rewards to guide learning. By grounding policy learning in dynamically feasible trajectories, we expand the robot's dynamic capabilities and enable running that includes both flight and single support phases. The resulting policy operates reliably on a treadmill and in outdoor environments, demonstrating robustness to disturbances applied to the torso and feet. Moreover, it achieves accurate global reference tracking utilizing only on-board sensors, making a critical step toward integrating these dynamic motions into a full autonomy stack.