Differentiable Contact Dynamics for Legged Locomotion: Policy Learning and Contact-Implicit Trajectory Optimization
作者: Gijeong Kim, Seungbin Oh, Dongyun Kang, Hae-Won Park
分类: cs.RO
发布日期: 2026-10-26
备注: Submitted to Transactions on Robotics
💡 一句话要点
提出可微接触动力学以优化四足机器人运动控制
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 接触动力学 四足机器人 策略学习 轨迹优化 摩擦接触 机器学习 运动控制
📋 核心要点
- 现有的接触动力学方法在处理摩擦接触时存在灵敏度不足的问题，无法有效支持接触模式的转换。
- 本文提出了一种新的平滑解析梯度，能够在反向传播中替代传统的接触灵敏度，从而提高策略学习和轨迹优化的效果。
- 实验结果表明，所提方法在策略学习中能够生成可直接在硬件上应用的策略，并在轨迹优化中发现了更丰富的接触解决方案。
📝 摘要（中文）
本文提出了一种平滑的解析梯度用于摩擦接触，并将其应用于四足机器人运动的策略学习和接触隐式轨迹优化。现有方法的接触灵敏度仅在当前接触模式内有效，无法提供邻近接触模式的第一阶信息。所提梯度在反向传播中替代了这一灵敏度，而前向求解保持不变，确保了可行的滚动效果。通过对Coulomb摩擦的二阶锥互补问题进行中心路径松弛，平滑了分离、夹紧和滑动模式的条件。使用10万个样本和不到2分钟的训练时间，所提梯度的策略学习能够在硬件上直接迁移，无需微调。实验中，机器人在跑步策略下能够抵御推力并穿越碎片和滑溜的地面。
🔬 方法详解
问题定义：本文旨在解决现有接触动力学方法在摩擦接触处理中的灵敏度不足问题，尤其是在接触模式转换时缺乏有效的第一阶信息。
核心思路：提出了一种平滑的解析梯度，专注于在反向传播中替代传统的接触灵敏度，从而在保持前向求解不变的情况下，提升策略学习和轨迹优化的效果。
技术框架：整体方法包括接触模式的定义、梯度的计算和策略学习与轨迹优化的结合。首先，通过牛顿迭代获得硬接触解，然后在此基础上进行中心路径松弛，计算平滑的接触灵敏度。
关键创新：最重要的创新在于提出了一种新的接触灵敏度计算方法，该方法在接触模式转换时保持连续性，并在松弛消失时收敛到精确灵敏度，显著提高了轨迹优化的效果。
关键设计：在参数设置上，使用了10万个样本进行训练，损失函数设计为适应接触模式的变化，网络结构则结合了传统的接触动力学模型与新提出的平滑梯度计算方法。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用所提梯度进行策略学习的机器人在硬件上能够直接应用，无需微调，且在面对推力和复杂地形时表现出色。与传统方法相比，所提方法在轨迹优化中发现了更多接触丰富的解决方案，显著提升了运动性能。
🎯 应用场景
该研究的潜在应用领域包括四足机器人、自动驾驶车辆及其他需要复杂接触动态的机器人系统。通过提高接触处理的精确性和效率，未来可在更广泛的环境中实现更高效的运动控制，推动机器人技术的发展。
📄 摘要（原文）
This paper proposes a smooth analytic gradient for frictional contact and applies it to policy learning and contact-implicit trajectory optimization for legged locomotion. The exact contact sensitivity is available in closed form but describes changes within the current contact mode, providing no first-order information toward neighboring contact modes. The proposed gradient replaces this sensitivity only in the backward pass, leaving the hard-contact forward solve unchanged and the realized rollout feasible. A central-path relaxation of the de Saxcé-corrected second-order-cone complementarity problem for Coulomb friction smooths the conditions defining the separating, clamping, and sliding modes. The relaxed sensitivity is evaluated at a point on the central path obtained by a Newton iteration initialized from the hard-contact solution. The sensitivity remains continuous through contact-mode transitions and converges to the exact sensitivity as the relaxation vanishes. Using 100,000 samples and less than 2 min of training on a desktop PC, policy learning with the proposed gradient produces a policy that transfers to hardware without fine-tuning. On hardware, the robot under a trotting policy withstands pushes and traverses debris and slippery ground. In trajectory optimization, the proposed gradient reaches contact-rich solutions missed by exact and Signorini-relaxed gradients. Project page: https://diffcontact.github.io