Deep Reinforcement Learning for Robotic Manipulation under Distribution Shift with Bounded Extremum Seeking
作者: Shaifalee Saxena, Rafael Fierro, Alexander Scheinker
分类: cs.RO, cs.LG
发布日期: 2026-04-01
💡 一句话要点
结合有界极值搜索的深度强化学习提升机器人操作在分布偏移下的鲁棒性
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 深度强化学习 机器人操作 分布偏移 极值搜索 鲁棒性 DDPG 混合控制
📋 核心要点
- 现有强化学习方法在机器人操作中面临分布偏移问题，导致策略在测试环境中性能下降，尤其是在接触密集型任务中。
- 论文提出一种混合控制器，结合深度强化学习（DDPG）和有界极值搜索（ES），利用强化学习的快速性和极值搜索的鲁棒性。
- 实验结果表明，该方法在时变目标和空间变化的摩擦等超出分布的场景下，能够有效提升机器人操作的鲁棒性。
📝 摘要（中文）
强化学习在机器人操作中表现出强大的性能，但当测试条件与训练分布不同时，学习到的策略性能通常会下降。这种限制在诸如推物和抓取放置等接触密集型任务中尤为重要，因为目标、接触条件或机器人动力学的变化可能会在推理时将系统推出分布。本文研究了一种混合控制器，该控制器结合了强化学习和有界极值搜索，以提高在这种条件下的鲁棒性。在该方法中，深度确定性策略梯度（DDPG）策略在机器人推物和抓取放置任务的标准条件下进行训练，然后在部署期间与有界极值搜索相结合。强化学习策略提供快速的操作行为，而有界极值搜索确保整体控制器在操作条件偏离训练时所见条件时，对时间变化的鲁棒性。所提出的控制器在几种超出分布的设置下进行了评估，包括时变目标和空间变化的摩擦区域。
🔬 方法详解
问题定义：机器人操作任务，如推物和抓取放置，在实际应用中经常面临训练环境与测试环境不一致的问题，即分布偏移。例如，目标位置、摩擦系数等发生变化，导致训练好的强化学习策略性能显著下降。现有强化学习方法难以适应这种变化，缺乏鲁棒性。
核心思路：论文的核心思路是将深度强化学习（DDPG）与有界极值搜索（Bounded Extremum Seeking, ES）相结合。DDPG负责快速、高效地执行操作，而有界ES则负责在环境发生变化时，通过不断调整控制参数，使系统性能达到最优，从而提高整体的鲁棒性。
技术框架：整体框架包含两个主要模块：DDPG策略和有界ES模块。首先，在标准条件下训练DDPG策略，使其能够完成基本的机器人操作任务。然后，在部署阶段，DDPG策略作为主控制器，提供初始的控制指令。有界ES模块则作为一个辅助控制器，不断监测系统性能，并根据性能反馈调整DDPG策略的输出，以应对环境变化。
关键创新：关键创新在于将强化学习的快速性和极值搜索的鲁棒性相结合，形成一个混合控制框架。与单独使用强化学习相比，该方法能够更好地适应环境变化，提高鲁棒性。与传统的极值搜索相比，DDPG策略的引入可以加快搜索速度，提高效率。
关键设计：有界ES模块的关键设计在于如何选择合适的搜索范围和步长，以及如何定义性能指标。论文中具体参数设置未知。DDPG策略的网络结构和损失函数采用标准的DDPG设置。有界ES模块的性能指标通常与任务目标相关，例如，推物任务中可以是物体与目标位置的距离。
🖼️ 关键图片
📊 实验亮点
论文通过实验验证了该方法在时变目标和空间变化的摩擦等超出分布的场景下的有效性。具体性能数据未知，但实验结果表明，与单独使用DDPG相比，结合有界ES的混合控制器能够显著提高机器人操作的鲁棒性，使其能够更好地适应环境变化。
🎯 应用场景
该研究成果可应用于各种需要机器人进行复杂操作的场景，例如自动化生产线、物流分拣、医疗手术等。特别是在环境条件不确定或随时间变化的场景下，该方法能够显著提高机器人的可靠性和适应性，降低故障率，提高生产效率。未来，该方法可以进一步扩展到更复杂的机器人系统和任务中。
📄 摘要（原文）
Reinforcement learning has shown strong performance in robotic manipulation, but learned policies often degrade in performance when test conditions differ from the training distribution. This limitation is especially important in contact-rich tasks such as pushing and pick-and-place, where changes in goals, contact conditions, or robot dynamics can drive the system out-of-distribution at inference time. In this paper, we investigate a hybrid controller that combines reinforcement learning with bounded extremum seeking to improve robustness under such conditions. In the proposed approach, deep deterministic policy gradient (DDPG) policies are trained under standard conditions on the robotic pushing and pick-and-place tasks, and are then combined with bounded ES during deployment. The RL policy provides fast manipulation behavior, while bounded ES ensures robustness of the overall controller to time variations when operating conditions depart from those seen during training. The resulting controller is evaluated under several out-of-distribution settings, including time-varying goals and spatially varying friction patches.