Decoupling Semantics and Geometric Grounding: Spatial Visual Prompts for Language-Conditioned Imitation Learning

📄 arXiv: 2606.25360v1 📥 PDF

作者: Yanzhe Tang, Xinyu Shao, Yuxuan Hu, Siyu Chen, Bowen Yang, Yajun Gao, Tongtong Cao, Xiu Li, Long Zeng

分类: cs.RO

发布日期: 2026-06-24

💡 一句话要点

提出SVP-IL以解决语言条件模仿学习中的空间控制问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 模仿学习 空间视觉提示 机器人操作 低数据学习 特征级融合 几何掩码

📋 核心要点

  1. 现有的VLA模型将语义推理与空间控制耦合，导致在模仿学习中难以实现精确的目标消歧。
  2. 本文提出SVP-IL，通过解耦架构提取空间视觉基础，利用视觉-语言模型生成空间视觉提示，优化动作生成。
  3. SVP-IL在仅用50到100个示例的情况下，成功率从24.0%提升至39.5%，在标准基准上达到67.8%的成功率。

📝 摘要（中文）

尽管端到端的视觉-语言-动作（VLA）模型在机器人操作中展现出潜力，但其单一的范式固有地将语义推理与空间控制耦合在一起，造成了严重的对齐瓶颈，限制了在数据受限的模仿学习中精确目标的消歧。为此，本文提出了SVP-IL，一种解耦架构，明确从动作生成循环中提取空间视觉基础。通过利用视觉-语言基础模型，我们将指令解析为零样本几何掩码，将语言转换为明确的空间视觉提示（SVP）。这些先验信息通过轻量级的直接特征级融合机制注入到连续动作生成器中。这种集成提供了明确且未受干扰的空间梯度指导，同时确保在低数据环境下的高度稳定优化。大量实验表明，SVP-IL显著超越了最先进的VLA和纯视觉运动基线。

🔬 方法详解

问题定义：本文旨在解决现有VLA模型在模仿学习中因语义与空间控制耦合而导致的对齐瓶颈，限制了目标的精确消歧。

核心思路：SVP-IL通过解耦架构，明确提取空间视觉基础，并将语言指令解析为几何掩码，从而优化动作生成过程。

技术框架：SVP-IL的整体架构包括指令解析模块、空间视觉提示生成模块和连续动作生成器，采用轻量级特征级融合机制进行集成。

关键创新：SVP-IL的主要创新在于将空间视觉提示（SVP）与动作生成解耦，提供明确的空间梯度指导，确保在低数据环境下的优化稳定性。

关键设计：在设计中，采用了视觉-语言基础模型进行指令解析，使用零样本几何掩码生成空间视觉提示，并通过特征级融合机制将其注入到动作生成器中。具体的损失函数和网络结构细节在实验中进行了优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SVP-IL在语言条件模仿学习任务中的成功率从24.0%提升至39.5%，在标准基准测试中达到了67.8%的成功率，显著超越了现有的VLA模型和纯视觉运动基线，验证了其在低数据环境下的有效性和鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化制造和人机交互等场景。通过提高机器人在复杂环境中的操作能力，SVP-IL能够显著提升机器人在实际应用中的灵活性和效率，推动智能机器人技术的发展。

📄 摘要（原文）

While end-to-end Vision-Language-Action (VLA) models show promise in robotic manipulation, their monolithic paradigm inherently couples semantic reasoning and spatial control. This creates a severe alignment bottleneck, limiting precise target disambiguation in data-constrained imitation learning. To overcome this, we propose SVP-IL, a decoupled architecture that explicitly extracts spatial visual grounding from the action generation loop. By leveraging vision-language foundation models, we parse instructions into zero-shot geometric masks, translating language into explicit Spatial Visual Prompts (SVP). These priors are injected into a continuous action generator via a lightweight direct feature-level fusion mechanism. This integration provides explicit and uncorrupted spatial gradient guidance while ensuring highly stable optimization under low-data regimes. Extensive experiments demonstrate that SVP-IL significantly outperforms state-of-the-art VLAs and pure visuomotor baselines. Trained on as few as 50 to 100 demonstrations, SVP-IL improves average success rates on highly ambiguous language-conditioned tasks from 24.0% to 39.5%, achieving 67.8% on standard benchmarks. Real-world robotic experiments further validate its robustness and data efficiency in unstructured physical environments.