InSight: Self-Guided Skill Acquisition via Steerable VLAs
作者: Maggie Wang, Lars Osterberg, Stephen Tian, Ola Shorinwa, Jiajun Wu, Mac Schwager
分类: cs.RO, cs.AI, cs.LG
发布日期: 2026-06-23
备注: Project website: https://insight-vla.github.io
💡 一句话要点
提出InSight框架以实现自主技能获取
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 自主技能获取 原始动作可调节性 机器人操作 自动化制造
📋 核心要点
- 现有的VLA模型在技能学习上受限于训练数据，无法自主获取新技能。
- InSight框架通过将VLA在原始动作层面上进行可调节，支持自主技能获取。
- 在多种操作任务中，InSight能够在没有人类示范的情况下学习新技能，显示出显著的性能提升。
📝 摘要（中文）
视觉-语言-动作（VLA）模型可以通过示范学习操作技能，但其能力受限于训练数据中的技能。我们提出InSight框架，通过在原始动作层面上使VLA可调节，解锁自主技能获取。InSight包括两个主要阶段：首先，通过VLM计划分解和末端执行器姿态的自动分割管道，将示范分割为标记的原始动作；其次，VLM引导的数据飞轮识别完成新任务所需的缺失原始动作，自动尝试缺失原始动作的示范，并将成功示范自动标记、存储和整合到VLA训练集中。我们在模拟和现实世界的操作任务中评估InSight，发现原始动作的可调节性为VLA策略的持续技能获取提供了实用基础。
🔬 方法详解
问题定义：现有的视觉-语言-动作（VLA）模型在学习操作技能时，依赖于训练数据中的示范，无法自主获取新技能，限制了其应用范围。
核心思路：InSight框架通过将VLA模型的动作分解为可调节的原始动作，使得模型能够自主识别和学习缺失的技能，从而实现技能的自主获取。
技术框架：InSight的整体架构分为两个主要阶段：第一阶段是自动分割管道，通过VLM计划分解和末端执行器姿态，将示范分割为标记的原始动作；第二阶段是VLM引导的数据飞轮，识别缺失的原始动作并自动进行示范。
关键创新：InSight的核心创新在于实现了VLA模型的原始动作可调节性，使得模型能够在没有人类示范的情况下，自动学习和整合新技能，这与现有方法的依赖性形成了鲜明对比。
关键设计：在设计中，采用了自动分割和标记的技术细节，确保了原始动作的准确性，同时在数据飞轮中实现了低级控制的自动化，提升了示范的效率和效果。
🖼️ 关键图片
📊 实验亮点
在多种操作任务中，InSight框架成功实现了在没有人类示范的情况下学习新技能，表现出显著的性能提升。例如，在块翻转、抽屉关闭等任务中，模型能够有效地识别并执行缺失的原始动作，展示了原始动作可调节性的优势。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动化制造和智能家居等。通过自主技能获取，机器人能够在复杂环境中执行多样化任务，提升其灵活性和适应性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Vision-language-action (VLA) models can learn manipulation skills from demonstrations, but their capabilities are bounded by the skills in the training data. We present InSight, a framework that unlocks autonomous skill acquisition by rendering VLAs steerable at the primitive-action level (e.g., "move gripper to the bowl", "lift upward", "pour the bottle"). InSight consists of two primary stages: (1) an automated segmentation pipeline that partitions demonstrations into labeled primitives via VLM plan decomposition and end-effector poses to enable VLA primitive steerability, and (2) a VLM-guided data flywheel that identifies missing primitives required to accomplish a novel task, autonomously attempts demonstrations of the missing primitives with VLM-proposed low-level control, and automatically labels, stores, and integrates successful demonstrations into the VLA training set. We evaluate InSight across simulation and real-world manipulation tasks, including block flipping, drawer closing, sweeping, twisting, and pouring, without any human demonstrations of these target skills. Once learned, these primitives can be composed to execute novel, long-horizon tasks without additional human demonstrations. Our findings demonstrate that primitive steerability provides a practical foundation for continual skill acquisition in VLA policies. Project website: https://insight-vla.github.io.