Lifelong Language-Conditioned Robotic Manipulation Learning

📄 arXiv: 2603.05160v1 📥 PDF

作者: Xudong Wang, Zebin Han, Zhiyu Liu, Gan Li, Jiahua Dong, Baichen Liu, Lianqing Liu, Zhi Han

分类: cs.RO, cs.AI

发布日期: 2026-03-05

备注: 14 pages, 7 figures

💡 一句话要点

提出SkillsCrafter框架，解决语言条件机器人操作中终身学习的灾难性遗忘问题。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人操作 终身学习 语言条件 灾难性遗忘 技能适应 技能聚合 语义子空间

📋 核心要点

  1. 传统语言条件操作Agent在顺序适应新操作技能时，容易灾难性地遗忘旧技能，限制了其在动态场景中的实际部署。
  2. SkillsCrafter框架通过操作技能适应和技能专业化聚合，在学习新技能的同时保留旧技能知识，并实现技能间的知识迁移。
  3. 实验结果表明，SkillsCrafter能够有效减少灾难性遗忘，并在新技能学习和泛化能力方面表现出优越性。

📝 摘要（中文）

本文提出了一种名为SkillsCrafter的机器人操作框架，旨在持续学习多种技能，同时减少旧技能的灾难性遗忘，从而应对动态场景的实际部署挑战。该框架包含操作技能适应模块，用于保留旧技能知识，并继承新旧技能之间的共享知识，以促进新技能的学习。同时，对不同的技能指令进行奇异值分解，获得通用的技能语义子空间投影矩阵，从而记录技能的基本语义空间。为了实现无遗忘和泛化的操作，提出了技能专业化聚合模块，用于计算技能语义子空间中的技能间相似性，从而聚合先前学习的技能知识，以用于任何新的或未知的技能。大量实验证明了所提出的SkillsCrafter的有效性和优越性。

🔬 方法详解

问题定义：本文旨在解决语言条件机器人操作中的终身学习问题，即机器人需要在不断学习新的操作技能的同时，避免遗忘已经掌握的技能。现有方法在顺序学习新技能时，容易发生灾难性遗忘，导致机器人无法适应动态变化的环境。

核心思路：SkillsCrafter的核心思路是利用技能适应和技能聚合机制，在学习新技能时保留旧技能的知识，并通过技能间的语义相似性实现知识迁移。通过这种方式，机器人可以持续学习新技能，同时避免遗忘旧技能，并提高泛化能力。

技术框架：SkillsCrafter框架主要包含两个模块：操作技能适应（Manipulation Skills Adaptation）和技能专业化聚合（Skills Specialization Aggregation）。操作技能适应模块负责在新技能学习过程中保留旧技能的知识，并利用新旧技能之间的共享知识来加速新技能的学习。技能专业化聚合模块则通过计算技能语义子空间中的技能间相似性，将先前学习的技能知识聚合起来，用于任何新的或未知的技能。

关键创新：该论文的关键创新在于提出了操作技能适应和技能专业化聚合机制，有效地解决了语言条件机器人操作中的灾难性遗忘问题。通过操作技能适应，模型能够保留旧技能的知识，并通过技能专业化聚合，模型能够将先前学习的技能知识迁移到新的技能学习中，从而提高学习效率和泛化能力。

关键设计：操作技能适应模块通过知识蒸馏等技术，保留旧技能的知识。技能专业化聚合模块则通过奇异值分解（SVD）提取技能的语义子空间，并计算技能间的相似性。具体的损失函数和网络结构细节在论文中进行了详细描述，但摘要中未提供具体参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SkillsCrafter框架能够有效减少语言条件机器人操作中的灾难性遗忘，并在新技能学习和泛化能力方面表现出优越性。具体性能数据和对比基线在摘要中未提供，需要在论文中查找。

🎯 应用场景

该研究成果可应用于各种需要机器人持续学习和适应新任务的场景，例如智能制造、家庭服务、医疗辅助等。通过SkillsCrafter框架，机器人可以不断学习新的操作技能，并将其应用于不同的任务中，从而提高机器人的智能化水平和应用范围。未来，该技术有望推动机器人技术在更广泛领域的应用。

📄 摘要（原文）

Traditional language-conditioned manipulation agent sequential adaptation to new manipulation skills leads to catastrophic forgetting of old skills, limiting dynamic scene practical deployment. In this paper, we propose SkillsCrafter, a novel robotic manipulation framework designed to continually learn multiple skills while reducing catastrophic forgetting of old skills. Specifically, we propose a Manipulation Skills Adaptation to retain the old skills knowledge while inheriting the shared knowledge between new and old skills to facilitate learning of new skills. Meanwhile, we perform the singular value decomposition on the diverse skill instructions to obtain common skill semantic subspace projection matrices, thereby recording the essential semantic space of skills. To achieve forget-less and generalization manipulation, we propose a Skills Specialization Aggregation to compute inter-skills similarity in skill semantic subspaces, achieving aggregation of the previously learned skill knowledge for any new or unknown skill. Extensive experiments demonstrate the effectiveness and superiority of our proposed SkillsCrafter.