ResMerge: Residual Policy Learning and Merging for Continual Adaptation of Pre-trained Robot Policies

📄 arXiv: 2610.41663v1 📥 PDF

作者: Kefei Zhu, Lingyun Xu, Yue Xin, Xiaoqi Li, Caixin Guo, Xincheng Du, Yuanpei Chen, Yaodong Yang, Hao Dong

分类: cs.RO

发布日期: 2026-10-30

备注: 9 pages. Code: https://github.com/ResMerge/resmerge-official

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出ResMerge以解决机器人预训练策略的持续适应问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 持续学习 机器人适应 残差强化学习 参数高效微调 动作场一致性 智能机器人 任务特定修正

📋 核心要点

  1. 现有方法在适应新任务时面临参数增长和持续演示收集的挑战，限制了机器人的灵活性。
  2. ResMerge通过残差强化学习获取任务特定的修正，避免了额外的专家演示，并通过参数空间合并减少存储需求。
  3. 实验结果显示，ResMerge在LIBERO和真实机器人上相较于PECFT基线有显著性能提升，且减少了残差参数的占用。

📝 摘要（中文）

持续适应新任务对现实世界中的机器人至关重要，但由于参数增长和持续收集演示的需求，适应预训练策略仍然具有挑战性。参数高效的持续微调（PECFT）隔离任务特定的更新，但每个任务的适配器设计需要演示并随着任务集的增长而增加。我们提出ResMerge，一个两阶段框架，在冻结的预训练策略之上学习可合并的残差策略：残差强化学习（RL）在适应过程中获取任务特定的修正，而无需额外的专家演示，参数空间合并则整合兼容的残差以减少存储参数。我们引入残差场一致性（RFC），这是一种简单、有界且可解释的度量，通过比较修正方向和幅度来评估残差动作场空间中的兼容性。实验结果表明，在LIBERO上使用两个主干和在真实的Franka机器人上进行的实验中，ResMerge在持续学习性能上优于强大的PECFT基线，同时选择性合并减少了残差参数的占用。

🔬 方法详解

问题定义：本论文旨在解决机器人在适应新任务时面临的参数增长和持续演示收集的挑战。现有的参数高效持续微调（PECFT）方法虽然能够隔离任务特定的更新，但在每个任务上需要额外的演示，导致参数量随任务集的增长而增加。

核心思路：论文提出的ResMerge框架通过学习可合并的残差策略，允许在冻结的预训练策略上进行任务特定的适应。通过残差强化学习，机器人可以在没有额外专家演示的情况下获取任务特定的修正，从而提高适应效率。

技术框架：ResMerge的整体架构包括两个主要阶段：第一阶段是残差强化学习，获取任务特定的修正；第二阶段是参数空间合并，将兼容的残差整合以减少存储参数。

关键创新：论文的主要创新在于引入了残差场一致性（RFC）度量，能够有效评估残差动作场空间中的兼容性，进而指导残差的合并。这一方法与现有的PECFT方法相比，显著降低了参数存储需求。

关键设计：在设计中，RFC度量通过比较修正的方向和幅度来评估兼容性，确保合并后的残差能够有效地反映任务特定的修正。此外，框架中的参数设置和损失函数设计也经过精心调整，以优化学习过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ResMerge在LIBERO数据集上和真实的Franka机器人上均优于强大的PECFT基线，持续学习性能显著提升，具体提升幅度未知。同时，选择性合并技术有效减少了残差参数的占用，优化了存储效率。

🎯 应用场景

该研究的潜在应用领域包括自主机器人、智能制造和服务机器人等。通过提高机器人对新任务的适应能力，ResMerge能够显著提升机器人在动态环境中的灵活性和效率，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Continual adaptation to new tasks is essential for robots deployed in the real world, but adapting pre-trained policies remains challenging due to parameter growth and the need for continual demonstration collection. Parameter-Efficient Continual Fine-Tuning (PECFT) isolates task-specific updates, but adapter-per-task designs require demonstrations and grow with the task set. We propose ResMerge, a two-stage framework that learns mergeable residual policies atop a frozen pre-trained policy: residual reinforcement learning (RL) acquires task-specific corrections without additional expert demonstrations during adaptation, and parameter-space merging consolidates compatible residuals to reduce stored parameters. We introduce Residual-Field Consistency (RFC), a simple, bounded, and interpretable metric that assesses compatibility in residual action-field space by comparing correction direction and magnitude. Experiments on LIBERO across two backbones and on a real-world Franka robot show improved continual learning performance over strong PECFT baselines, while selective merging reduces the residual-parameter footprint. Project website: https://resmerge.github.io/.