Enhancing Deep Reinforcement Learning for Robotic Motion Planning via Task Decomposition

📄 arXiv: 2610.35494v1 📥 PDF

作者: Yuanzhi He, Victor Romero-Cano, Jiayu Xu, Juan David Hernández, Gualtiero Colombo

分类: cs.RO

发布日期: 2026-10-26

备注: Accepted to IEEE MSN 2026. 9 pages

💡 一句话要点

提出任务分解框架以提升机器人运动规划的深度强化学习效率

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度强化学习 机器人运动规划 任务分解 迁移学习 奖励重设计 障碍物环境 学习效率 鲁棒性

📋 核心要点

  1. 现有的深度强化学习方法在处理障碍物环境时表现不佳，收敛速度慢，影响了机器人运动规划的效率。
  2. 本文提出了一种任务分解框架，结合迁移学习和奖励重设计，旨在提高学习效率和在障碍环境中的鲁棒性。
  3. 实验结果显示，该方法在障碍物任务中显著提升了成功率，并减少了收敛时间，表现优于现有基线方法。

📝 摘要（中文）

在模拟环境中训练机器人操作策略因其安全性和成本效益而被广泛采用；然而，涉及障碍物的任务在深度强化学习（DRL）中表现不佳，且收敛速度较慢。为了解决这一挑战，本文提出了一种将迁移学习（TL）与奖励重设计（RR）相结合的任务分解框架，以提高障碍环境中的学习效率和鲁棒性。TL策略选择性地跨结构相关任务转移第一层评论者参数，而RR将任务分解为阶段性子目标，以提供更密集的优化信号。实验结果表明，该方法在PyBullet Panda平台上在障碍设置中表现出一致的提升。

🔬 方法详解

问题定义：本文旨在解决深度强化学习在障碍物环境中训练机器人操作策略时的低效和慢收敛问题。现有方法在复杂环境中往往无法有效学习，导致性能不足。

核心思路：论文提出的任务分解框架通过将任务分解为多个子目标，并结合迁移学习和奖励重设计，旨在提高学习的效率和鲁棒性。迁移学习选择性地转移第一层评论者参数，以保留一般状态-动作表示，而奖励重设计则提供更密集的优化信号。

技术框架：整体架构包括两个主要模块：迁移学习模块和奖励重设计模块。迁移学习模块负责在结构相关任务之间转移参数，而奖励重设计模块则将复杂任务分解为多个阶段性子目标，以便于优化。

关键创新：最重要的技术创新在于将迁移学习与奖励重设计相结合，特别是选择性地转移第一层评论者参数，这一设计使得模型能够更好地适应障碍物环境。

关键设计：在参数设置上，第一层评论者参数的转移是核心设计之一；损失函数和网络结构经过精心设计，以确保在不同任务间的有效迁移和优化信号的密集性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在障碍物推送任务中，该方法的成功率达到0.83，超出最强基线（TQC）的0.77约7.8%；在障碍物滑动任务中，成功率达到0.95，超出SAC的0.84约11%。此外，前向迁移使收敛时间减少了70%，奖励重设计将稀疏奖励的训练步骤从75万减少到20万，约73%的减少。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化制造和智能物流等。通过提升机器人在复杂环境中的运动规划能力，该方法能够显著提高机器人在实际应用中的效率和安全性，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Training robotic manipulation policies in simulation is widely adopted due to safety and cost efficiency; however, tasks involving obstacles remain under-performing and often converge slowly under Deep Reinforcement Learning (DRL). To address this challenge, we propose a task decomposition framework for DRL that integrates Transfer Learning (TL) with Reward Redesign (RR) to improve learning efficiency and robustness in obstacle environments. The TL strategy selectively transfers only the first-layer critic parameters across structurally related tasks, since that layer captures general state--action representations while deeper layers encode reward- and obstacle-specific value geometry; RR decomposes tasks into staged sub-objectives to provide denser optimization signals. Experiments on the PyBullet Panda platform show consistent gains in obstacle settings. On Push with obstacle, our method achieves $0.83 \pm 0.05$, outperforming the strongest baseline (Truncated Quantile Critics (TQC), $0.77 \pm 0.06$) by approximately $7.8\%$. On Slide with obstacle, performance reaches $0.95 \pm 0.02$, exceeding Soft Actor-Critic (SAC) ($0.84 \pm 0.06$) by about $11\%$ success rates. In addition to higher final performance, forward transfer reduces convergence time by up to $70\%$ in obstacle tasks, and RR shortens sparse-reward Pick-and-Place training from roughly $0.75$M to $0.20$M steps ($\approx73\%$ reduction). The best policy is deployed on a real Franka Emika FR3 robot as a qualitative feasibility demonstration.