REFACTOR-VLA: Unsupervised Library Learning of Typed Motor Programs

📄 arXiv: 2609.01215v1 📥 PDF

作者: Riyaaz Shaik, Chandru Venkataraman

分类: cs.LG, cs.AI, cs.RO

发布日期: 2026-09-01

备注: 30 pages, 5 figures

💡 一句话要点

提出REFACTOR-VLA以解决长时间任务中的行为抽象问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 技能发现 行为等价性 运动程序 可重用技能 机器学习 机器人控制

📋 核心要点

  1. 现有的VLA模型在长时间任务中表现不佳，缺乏将行为组织成可重用抽象的能力，导致理解困难。
  2. REFACTOR-VLA通过觉醒/睡眠系统学习可重用技能，睡眠阶段聚类运动程序片段，觉醒阶段生成类型化λ项。
  3. 实验表明，增加模型参数未必提升性能，而引入辅助对比损失显著改善了聚类效果，超越了所有基线。

📝 摘要（中文）

大多数视觉-语言-动作（VLA）模型如OpenVLA、π_0、RT-2和RDT-1B都是单一的，无法将行为组织成可重用的抽象，导致在长时间任务中性能下降且难以解释。现有的技能发现方法未能有效判断两个动作序列的行为等价性。本文提出了REFACTOR-VLA，一个用于学习可重用技能的觉醒/睡眠系统。其睡眠阶段在基于行为等价核（BEK）的基础上对运动程序片段进行聚类，而觉醒阶段则生成类型化的λ项，供库条件的修正流动作解码器使用。实验结果表明，增加世界模型的参数并未提升性能，训练目标的重要性更高，辅助监督对比损失的引入显著改善了聚类效果。

🔬 方法详解

问题定义：本文旨在解决现有VLA模型在长时间任务中缺乏行为抽象能力的问题，现有技能发现方法未能有效判断动作序列的行为等价性，导致性能下降。

核心思路：REFACTOR-VLA采用觉醒/睡眠系统，通过睡眠阶段聚类运动程序片段并在觉醒阶段生成类型化λ项，旨在学习可重用的技能抽象。

技术框架：该方法包括两个主要阶段：睡眠阶段通过行为等价核（BEK）对运动程序片段进行聚类，觉醒阶段则使用Hindley-Milner风格的词汇生成类型化λ项，供修正流动作解码器使用。

关键创新：该研究的创新在于引入了行为等价核（BEK）和最小描述长度（MDL）原则，确保只有通过验证的抽象才能被接受，显著提升了技能的可重用性。

关键设计：在训练过程中，采用了辅助监督对比损失（InfoNCE），并在世界模型的热身阶段引入该损失以改善聚类效果，确保聚类的有效性和准确性。实验中还发现，模型参数的增加并未直接提升性能。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，增加世界模型参数并未提升性能，而引入辅助对比损失显著改善了聚类效果，Normalized Mutual Information在不同种类的任务中分别达到了0.462至0.915，且在所有四个任务中超越了最强基线，平均提升幅度为0.184。

🎯 应用场景

REFACTOR-VLA的研究成果可广泛应用于机器人控制、自动化任务执行和人机交互等领域。通过学习可重用的技能抽象，该方法有助于提高机器人在复杂环境中的适应能力和任务执行效率，未来可能推动智能系统的自主学习和决策能力的发展。

📄 摘要（原文）

Most vision-language-action (VLA) models -- OpenVLA, $π_0$, RT-2, RDT-1B -- are monolithic: they emit raw motor commands or short action chunks without organizing behavior into reusable abstractions, so they degrade on long-horizon tasks and resist interpretation. Existing skill-discovery methods sidestep the core question of when two action sequences are behaviorally equivalent, either clustering contrastive embeddings or delegating the judgment to a language model uncalibrated to the robot's dynamics. We introduce REFACTOR-VLA, a wake/sleep system for learning reusable skills. Its sleep phase clusters motor-program fragments under a Behavioral-Equivalence Kernel (BEK) computed from rollouts of a learned latent world model $M_φ$; its wake phase emits typed lambda terms over a Hindley--Milner-inspired vocabulary, consumed by a library-conditioned rectified-flow action decoder. Abstractions are admitted only if they pass Minimum Description Length and return-preservation gates. On LIBERO we report two findings. First, enlarging the world model from 188M to 430M parameters worsened performance on 4 of 4 suites, so capacity alone does not help. Second, the training objective matters far more: adding an auxiliary supervised contrastive (InfoNCE) loss during world-model warmup substantially improves sleep-phase clustering, giving Normalized Mutual Information at $n=3$ seeds of $0.462 \pm 0.021$ (object), $0.867 \pm 0.025$ (spatial), $0.915 \pm 0.013$ (goal) and $0.754 \pm 0.010$ (LIBERO-10), and beating the strongest published baseline on all 4 suites by a mean $Δ= +0.184$. Across providers ($n=12$) the 95% bootstrap confidence interval for mean pairwise NMI is $[0.683, 0.729]$ (mean $0.705$). The sleep phase also yields the first real-LIBERO task-language library: the decoder uses 2 of 3 admitted abstractions and rewrites all 256 sampled demonstrations.