Joint-Health-Aware Reinforcement Learning for Robust Robot Control Under Actuator Degradation

📄 arXiv: 2610.41348v1 📥 PDF

作者: Haifa Zhang, Yijing Wang, Zhiqiang Zuo

分类: cs.RO, cs.CV

发布日期: 2026-10-30

💡 一句话要点

提出联合健康感知强化学习以解决执行器退化问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 机器人控制 执行器退化 健康感知 鲁棒性 ManiSkill 动态环境

📋 核心要点

  1. 现有方法在处理执行器退化时，往往依赖于离散标签或广泛的随机化，未能有效建模每个关节的健康状态。
  2. 本文提出的框架通过连续的关节健康向量来编码执行器状态，允许策略根据健康状况调整控制策略。
  3. 实验结果显示，该方法在多种任务中显著提高了任务级的运动回报和操作成功率，尤其在高退化情况下表现突出。

📝 摘要（中文）

在非结构化环境中部署的机器人容易受到执行器退化的影响，这会降低单个执行器的有效控制能力，并导致在正常动态下训练的强化学习策略失效。现有的鲁棒性方法依赖于离散故障标签、广泛的领域随机化或全局潜变量，通常未能明确建模每个关节的连续剩余执行能力。本文提出了一种联合健康感知强化学习框架，以应对模拟执行器退化下的鲁棒机器人控制。该框架通过连续的关节健康向量编码执行器状态，并将退化建模为执行动作的乘法衰减。专门的HealthNet估计器从最近的观察和动作中推断每个关节的健康状况，使策略能够在健康和退化的关节之间重新分配控制努力。我们在Walker、Go2、Cassie和Panda基础的ManiSkill操作任务中评估了该方法，结果显示在主要评估指标上优于正常和退化训练的无健康基线。

🔬 方法详解

问题定义：本文旨在解决机器人在执行器退化情况下的控制问题。现有方法未能有效建模每个关节的健康状态，导致在实际应用中鲁棒性不足。

核心思路：提出一种联合健康感知的强化学习框架，通过连续的关节健康向量来表示执行器的健康状况，并将退化建模为动作的乘法衰减，从而提高控制策略的适应性。

技术框架：框架主要包括健康状态估计模块（HealthNet）和强化学习策略模块。HealthNet根据最近的观察和动作推断每个关节的健康状况，策略模块则根据健康状态调整控制策略。

关键创新：最重要的创新在于引入了连续的关节健康向量和基于健康状态的控制策略调整，这与现有方法的离散标签或随机化策略有本质区别。

关键设计：在设计中，HealthNet使用了特定的网络结构来估计每个关节的健康状况，损失函数则考虑了健康状态对动作执行的影响，确保了控制策略的有效性和鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在Walker、Go2、Cassie和Panda基础的ManiSkill操作任务中表现优异，相较于正常基线，任务级运动回报提高了最高达250.1%，操作成功率提升了15.2个百分点。在高退化的Cassie组中，回报从3.94提升至40.50，增幅达到928.0%。

🎯 应用场景

该研究具有广泛的应用潜力，特别是在需要高鲁棒性的机器人控制领域，如灾后救援、工业自动化和服务机器人等。通过有效应对执行器退化，机器人能够在复杂和动态的环境中更可靠地执行任务，提升其实际应用价值。

📄 摘要（原文）

Robots deployed in unstructured environments are susceptible to actuator-authority degradation, which reduces the effective control authority of individual actuators and can cause reinforcement learning policies trained under nominal dynamics to fail. Existing robustness approaches rely on discrete fault labels, broad domain randomization, or global latent variables, often without explicitly modeling continuous per-joint residual actuation capability. We propose a joint-health-aware reinforcement learning framework for robust robot control under simulated actuator degradation. Our framework encodes actuator condition in a continuous joint-health vector and models degradation as multiplicative attenuation of executed actions. A dedicated HealthNet estimator infers per-joint health from recent observations and actions, allowing the policy to redistribute control effort across healthy and degraded joints. We evaluate the method on Walker, Go2, Cassie, and Panda-based ManiSkill manipulation tasks under diverse degradation masks and severity levels. The method outperforms nominal and degradation-trained no-health baselines on the main evaluated metrics. Relative to the nominal baseline, task-level locomotion returns improve by up to 250.1\% and manipulation success rates by up to 15.2 percentage points; in the high-degradation Cassie group, return increases from 3.94 to 40.50 (+928.0\%). Ablations support the contribution of per-joint health estimation, action-degradation modeling, and health-conditioned control.