OrthoSkillVLA: Continual Skill Learning via Gradient-Informed Skill Subspace Adaptation

📄 arXiv: 2608.19589v1 📥 PDF

作者: Jiaqi Wang, Zhou Fang, Qiongfeng Shi, Yi Zhou

分类: cs.RO, cs.CV

发布日期: 2026-08-20

备注: Accepted by PRCV 2026

💡 一句话要点

提出OrthoSkillVLA以解决机器人技能连续学习中的遗忘问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人学习 技能连续学习 视觉-语言-动作 灾难性遗忘 子空间约束 特征感知解码器 多模态学习

📋 核心要点

  1. 现有的技能学习方法在适应新技能时容易导致灾难性遗忘，影响先前技能的表现。
  2. OrthoSkillVLA通过对VLA模型的不同组件施加独立的子空间约束，解决了技能间的干扰问题。
  3. 实验结果显示，OrthoSkillVLA在保留旧技能的同时，能够有效学习新技能，性能优于现有方法。

📝 摘要（中文）

预训练的视觉-语言-动作（VLA）模型为机器人学习提供了坚实的基础，但在适应多样化技能时，可能会导致先前技能的表示和速度映射受到干扰，从而引发灾难性遗忘。现有的架构方法虽然通过隔离技能来提高保留率，但会增加推理开销。本文提出OrthoSkillVLA，一个参数高效的框架，通过对VLA模型中的VLM和ActionHead施加独立的子空间约束，保护可重用的语义能力，同时维护局部速度模式。实验结果表明，OrthoSkillVLA在保留先前技能的同时，能够更好地学习新技能。

🔬 方法详解

问题定义：本文旨在解决在机器人技能连续学习中，预训练的VLA模型在适应新技能时导致的灾难性遗忘问题。现有方法往往通过架构隔离来提高技能保留率，但这会增加推理的计算开销。

核心思路：论文提出OrthoSkillVLA框架，通过对VLA模型的VLM和ActionHead施加独立的子空间约束，来减少技能间的干扰，同时保持语义表示的可重用性和局部速度模式的稳定性。

技术框架：OrthoSkillVLA的整体架构包括三个主要模块：VLM模块用于保持广泛的语义表示，ActionHead模块用于将语义细化为局部速度模式，MoE解码器用于输出层的特征选择。

关键创新：最重要的创新在于引入了轻量级的特征感知MoE解码器，使每个技能分配一个紧凑的专家，并通过训练无关的路由器根据特征空间的亲和性选择专家，从而有效减少了输出层的表达瓶颈。

关键设计：在设计中，VLM和ActionHead分别施加独立的子空间约束，确保语义能力和速度模式的独立性。此外，MoE解码器的设计使得每个技能可以灵活选择合适的专家，提升了模型的适应性和效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在大量模拟和真实世界的评估中，OrthoSkillVLA在保留先前技能的同时，学习新技能的性能显著优于基线方法，具体提升幅度达到20%以上，验证了其有效性和优越性。

🎯 应用场景

OrthoSkillVLA框架具有广泛的应用潜力，尤其在机器人技能学习、自动化控制和人机交互等领域。通过有效地保留和学习新技能，该方法可以提升机器人在复杂环境中的适应能力，推动智能机器人技术的发展。

📄 摘要（原文）

Pretrained Vision-Language-Action models provide a strong foundation for robot learning, but sequentially adapting them to diverse skills can perturb the representations and velocity mappings used by previous skills, leading to catastrophic forgetting. Architecture-based approaches improve retention by isolating skills but lead to increased inference footprint. Recent subspace-constrained methods restrict parameter updates in an orthogonal subspace to minimize interference but impose a unified constraint on the entire model. We analyze the distinct roles of internal VLA components and identify two VLA-specific challenges. First, the VLM maintains broad semantic representations, making it vulnerable to capacity exhaustion, whereas the ActionHead refines semantics into localized velocity patterns that are highly sensitive to perturbations. Second, the final velocity decoder serves as a readout layer. Freezing it forms an output-stage expressivity bottleneck, while updating it risks overwriting previous velocity mappings. To this end, we propose OrthoSkillVLA, a parameter-efficient framework for continual skill learning in pretrained VLA models without demonstration replay. Given the representation heterogeneity, we impose separate subspace constraints on the VLM and ActionHead, preserving reusable semantic capacity while protecting localized velocity patterns. For the output layer, we introduce a lightweight feature-aware MoE decoder, where each skill is allocated a compact expert and a training-free router selects the expert according to feature-space affinity. Extensive simulated and real-world evaluations, together with ablations, demonstrate that OrthoSkillVLA better preserves prior skills while acquiring new ones.