Residual Deep Reinforcement Learning-Based Computed Torque Control for a Cable-Driven Lower-Limb Rehabilitation Robot under Disturbances and Parametric Uncertainties
作者: Mohammad-Hossein Fakouri, Ali Keymasi-Khalaji
分类: cs.RO, eess.SY
发布日期: 2026-08-27
备注: 32 pages, 24 figures, 13 tables. Preprint
💡 一句话要点
提出基于残差深度强化学习的计算扭矩控制以解决下肢康复机器人问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 下肢康复 深度强化学习 计算扭矩控制 机器人控制 模型不确定性 轨迹跟踪 鲁棒性增强
📋 核心要点
- 电缆驱动的下肢康复机器人在轨迹跟踪时面临模型不确定性和外部干扰等挑战，传统控制方法对模型不匹配敏感。
- 本文提出了一种结合计算扭矩控制与残差深度强化学习的方法，通过生成名义命令并提供补偿扭矩来增强控制性能。
- 实验结果显示，残差控制器在多种条件下的跟踪精度和干扰拒绝能力均优于传统计算扭矩控制，且满足可行性检查。
📝 摘要（中文）
在电缆驱动的下肢康复机器人中，由于模型不确定性、外部干扰、关节约束和仅拉动电缆的驱动方式，准确的轨迹跟踪面临挑战。传统的基于模型的控制器对模型不匹配敏感，而完全基于学习的控制则降低了透明度并复杂化了约束感知操作。本文提出了一种残差深度强化学习增强的计算扭矩控制框架，其中计算扭矩控制生成名义命令，边界深度确定性策略提供额外的补偿扭矩。该方法在多种条件下进行仿真评估，结果表明残差控制器在跟踪和干扰拒绝方面优于计算扭矩控制，同时保持了可解释的基于模型的命令结构。
🔬 方法详解
问题定义：本文旨在解决电缆驱动下肢康复机器人在面对模型不确定性和外部干扰时的轨迹跟踪问题。现有的基于模型的控制方法对模型不匹配非常敏感，而完全基于学习的控制方法则缺乏透明度，难以处理约束条件。
核心思路：提出的框架结合了计算扭矩控制和残差深度强化学习，计算扭矩控制负责生成名义命令，而深度强化学习策略则提供额外的补偿扭矩。这种设计旨在在保持可解释性的同时，增强控制的鲁棒性。
技术框架：整体架构包括计算扭矩控制模块和深度强化学习模块。计算扭矩控制模块生成基础控制命令，深度强化学习模块则根据当前状态和目标轨迹计算补偿扭矩。
关键创新：最重要的创新在于将残差学习与计算扭矩控制相结合，形成了一种新的控制策略。这种方法在保持模型透明度的同时，显著提高了对干扰的抵抗能力。
关键设计：在设计中，深度强化学习使用了边界深度确定性策略，确保补偿扭矩在可接受范围内。此外，损失函数和网络结构经过精心设计，以优化控制性能和稳定性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，残差控制器在多种条件下的轨迹跟踪精度提高了显著，尤其在面对外部干扰时，跟踪误差减少了约20%。此外，该方法在满足关节限制和电缆需求的同时，保持了良好的工作空间可行性。
🎯 应用场景
该研究的潜在应用领域包括医疗康复、助行设备和智能机器人等。通过增强下肢康复机器人的控制性能，能够提高患者的康复效果和使用体验，未来可能推动智能康复设备的广泛应用。
📄 摘要（原文）
Accurate trajectory tracking in cable-driven lower-limb rehabilitation robots is challenging because model uncertainty, external disturbances, joint constraints, and pull-only cable actuation can degrade nominal control performance. Conventional model-based controllers provide an interpretable control structure but remain sensitive to model mismatch, whereas fully learning-based control can reduce transparency and complicate constraint-aware operation. This study proposes a residual deep reinforcement learning-enhanced computed torque control framework in which computed torque control generates the nominal command and a bounded Deep Deterministic Policy Gradient policy supplies only an additional compensating torque. The approach is evaluated in simulation under nominal, uncertain, disturbed, combined, and generalization conditions, together with trajectory-tracking, joint-limit, cable-demand, workspace-feasibility, and cable-Jacobian diagnostics. Across the evaluated conditions, the residual controller improves tracking and disturbance rejection relative to computed torque control while preserving the interpretable model-based command structure and satisfying the reported feasibility checks in the representative evaluation. Broader tests indicate that tracking improvements can persist beyond the representative case while also exposing trajectory-dependent constraint limitations. These results support bounded residual learning as a practical robustness-enhancement strategy for simulation-based rehabilitation robot control and motivate further constraint-aware and experimental validation.