Critic Architecture Matters: Dual vs. Unified Critics for Humanoid Loco-Manipulation
作者: Mehmet Turan Yardımcı
分类: cs.RO, cs.LG
发布日期: 2026-06-10
备注: Accepted at the ICRA 2026 Workshop on Reinforcement Learning for Imitation Learning (RL4IL), Vienna, Austria. 4 pages, 2 figures
💡 一句话要点
提出双重评论者架构以提升类人机器人运动与操作的效率
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 类人机器人 多目标强化学习 评论者架构 运动与操作 深度学习
📋 核心要点
- 现有的单一评论者方法在多目标强化学习中可能导致学习行为的抑制，尤其是在运动与操作目标之间存在竞争时。
- 论文提出使用双重评论者架构，通过分离的奖励信号来优化类人机器人的运动与操作策略。
- 实验结果显示，双重评论者策略在目标达成速度上提高了3.5倍，吞吐量提升了2倍，验证达成率也显著提高。
📝 摘要（中文）
多目标强化学习在类人机器人中需要协调运动与操作。本文探讨使用单一评论者与双重评论者的设计选择，通过在NVIDIA Isaac Lab对Unitree G1类人机器人进行控制比较，发现双重评论者策略在目标达成速度、吞吐量和验证达成率上均显著优于单一评论者策略。这一研究结果表明，评论者架构是多目标强化学习中的关键设计选择，其影响力超过奖励工程。
🔬 方法详解
问题定义：本文旨在解决类人机器人在多目标强化学习中运动与操作协调的问题。现有的单一评论者方法在处理多个目标时，可能会因目标间的竞争而抑制学习效果。
核心思路：论文提出使用双重评论者架构，分别处理运动和操作的奖励信号，从而避免目标间的干扰，提升策略的学习效率。
技术框架：整体架构包括两个独立的评论者，每个评论者负责估计不同目标的价值。训练过程中，机器人通过13个阶段的序列课程，从静态到动态目标进行学习。
关键创新：最重要的创新在于双重评论者架构的设计，这一设计显著提升了类人机器人在复杂任务中的表现，尤其是在目标达成效率上。
关键设计：在实验中，使用了特定的奖励机制和反作弊机制，但结果表明，架构本身的改变比额外的奖励机制更为重要。
🖼️ 关键图片
📊 实验亮点
实验结果显示，双重评论者策略在目标达成速度上达到了6.5步，而单一评论者策略为22.6步，提升幅度达到3.5倍。此外，双重评论者策略的验证达成率为65.2%，而单一评论者策略仅为53.8%。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、救援机器人以及人机协作等场景。通过优化类人机器人的运动与操作能力，可以提升其在复杂环境中的自主性和效率，具有重要的实际价值和未来影响。
📄 摘要（原文）
Multi-objective reinforcement learning for humanoid robots must coordinate locomotion and manipulation within a single policy. A natural design choice is whether to use a single (unified) critic that estimates the combined value of all objectives, or separate (dual) critics with disjoint reward signals. We present a controlled comparison on the Unitree G1 humanoid (23 active DoF) in NVIDIA Isaac Lab, training loco-manipulation policies through a sequential curriculum spanning 13 levels from stationary reaching to walking with variable-orientation targets. In standardized evaluation, dual-critic policies reach targets 3.5$\times$ faster (6.5 vs. 22.6 simulation steps), achieve 2$\times$ higher throughput (14.3 vs. 7.0 validated reaches per 1,000 steps), and attain higher validated reach rates (65.2% vs. 53.8%) compared to the unified-critic policy. Notably, additional anti-gaming reward mechanisms provide no further improvement beyond the architectural change alone (60.9% vs. 65.2%). These results have direct implications for the emerging paradigm of RL fine-tuning of imitation-learned policies: when refining a pre-trained manipulation policy with RL, a unified critic risks suppressing the learned behavior through competing locomotion gradients. These findings demonstrate that critic architecture is a primary - and often overlooked - design choice in multi-objective humanoid RL, with greater impact than reward engineering on reaching efficiency.