MAPO: Mixture of Experts with Alternating Policy Optimization for Universal Humanoid Motion Tracking
作者: Seonghyeon Lim, Hyeonwoo Lee, Mincheol Kim, Kimin Lee, Hyun Myung
分类: cs.RO
发布日期: 2026-11-02
备注: 21 pages
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出MAPO以解决人形机器人运动跟踪中的政策更新问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 人形机器人 运动跟踪 混合专家 政策优化 动态路由 深度学习 机器人技术
📋 核心要点
- 现有的混合专家政策在动态路由过程中，政策更新的误差可能导致过于保守或过大的更新，从而影响最终策略的优化。
- MAPO方法通过交替优化路由器和专家，避免了政策更新中的误差估计问题，从而提升了策略的表现力和稳定性。
- 实验结果显示，MAPO在跟踪成功率和跟踪误差方面均优于其他对比方法，证明了其在实际应用中的有效性。
📝 摘要（中文）
人形运动跟踪对于使人形机器人在复杂人类环境中执行多样化任务至关重要。本文提出的MAPO方法通过交替优化路由器和专家，解决了现有混合专家政策在动态路由中可能导致的政策更新误差问题。实验结果表明，MAPO能够成功跟踪182种动作，而传统的PPO与MoE组合仅能跟踪1种动作，显示出其在跟踪成功率和误差方面的显著优势。
🔬 方法详解
问题定义：本文旨在解决人形机器人运动跟踪中，现有混合专家政策在动态路由下的政策更新误差问题。现有方法在政策梯度更新时，可能会错误估计旧政策与新政策之间的差异，导致策略优化不佳。
核心思路：MAPO方法通过交替优化路由器和专家，确保在政策更新过程中能够准确评估政策之间的差异，从而避免误估带来的负面影响。这种设计旨在提升策略的表达能力和稳定性。
技术框架：MAPO的整体架构包括两个主要模块：路由器和专家。路由器负责动态选择适合当前任务的专家，而专家则负责生成具体的运动策略。通过交替优化这两个模块，MAPO能够有效提升运动跟踪的准确性。
关键创新：MAPO的核心创新在于其交替优化机制，这与传统的政策梯度方法不同，后者通常是同时更新所有参数。通过这种方式，MAPO能够更好地控制政策更新的幅度，避免了过度更新或不足更新的问题。
关键设计：在MAPO中，损失函数设计考虑了政策之间的差异性，确保更新过程中的稳定性。此外，网络结构采用了适应性强的深度学习模型，以提高对复杂人类动作的捕捉能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，MAPO成功跟踪182种动作，而PPO与MoE组合仅能跟踪1种，表明MAPO在跟踪成功率方面具有显著优势。此外，MAPO在大多数误差指标上表现出最低的跟踪误差，验证了其优越的性能。
🎯 应用场景
该研究的潜在应用领域包括人形机器人在家庭、医疗和服务行业的自主操作能力。通过提升运动跟踪的准确性，MAPO能够使机器人更好地适应人类环境，执行复杂任务，进而提高人机交互的效率和安全性。
📄 摘要（原文）
Universal humanoid motion tracking is essential for enabling humanoid robots to perform diverse tasks in human environments. To capture the wide diversity of human motions, mixture-of-experts (MoE) policies have been widely adopted, leveraging dynamic routing to enhance policy expressiveness. However, we identify that divergence between old and updated policies can be misestimated during policy-gradient updates of MoE policies, due to their dynamic routing. Because most policy-gradient algorithms regulate policy updates based on the divergence, this misestimation can lead to either overly conservative or excessively large updates, which can yield a suboptimal policy. In this paper, we propose Mixture of Experts with Alternating Policy Optimization (MAPO), which alternately optimizes the router and the experts to avoid the divergence misestimation. MAPO consistently tracks 182 motions that PPO with MoE fails to track, whereas PPO with MoE tracks only one motion that MAPO fails to track. MAPO also attains the highest tracking success rate among the compared methods and the lowest tracking error across most error metrics, demonstrating its superior performance. Videos can be found on the project website: https://mapo-corl2026.github.io/MAPO/