SSI-Policy: Learning Structured Scene Interfaces for Vision-Language Robotic Manipulation
作者: Kaijun Wang, Zikai Ouyang, Xuping Wu, Jinyi Hong, Wei Pan, Haibo Lu, Jia Pan, Wei Zhang, Linfang Zheng
分类: cs.RO
发布日期: 2026-06-25
备注: Accepted by 2026 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)
💡 一句话要点
提出SSI-Policy以解决低数据环境下的机器人视觉语言操控问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting)
关键词: 机器人操控 视觉语言 结构化场景接口 低数据学习 深度特征 任务推理 模块化框架
📋 核心要点
- 现有方法在低数据环境下的机器人操控中面临空间定位和任务推理的挑战，常常导致性能下降。
- 论文提出SSI-Policy，通过结构化场景接口（SSI）将单目深度特征与语言信息结合，支持从少量演示中学习。
- 在LIBERO基准测试中，SSI-Policy在仅使用10个演示的情况下，性能提升近15%，显示出其有效性。
📝 摘要（中文）
现实世界中的机器人操控需要空间定位、任务感知推理和精确控制。然而，在低数据环境下学习这些能力尤其具有挑战性。现有方法往往在可扩展的任务级推理和明确的物理结构之间进行权衡。我们提出了SSI-Policy，一个围绕结构化场景接口（SSI）构建的模块化框架，该接口统一编码了单目深度特征、语言基础的物体布局和指令条件的二维运动轨迹。SSI是机器人无关的，并且可以从无动作视频中进行训练，从而使下游策略能够从少量演示中学习。在LIBERO基准上，SSI-Policy在每个任务仅使用10个演示的情况下，性能提升近15%，并且在利用大规模外部预训练的50个演示方法中仍然具有竞争力。
🔬 方法详解
问题定义：论文要解决的具体问题是如何在低数据环境下实现有效的机器人视觉语言操控。现有方法在空间定位和任务推理方面存在不足，尤其是在缺乏深度传感器的情况下，难以实现精确控制。
核心思路：论文的核心解决思路是引入结构化场景接口（SSI），该接口作为一种统一的RGB-only中间表示，能够同时编码深度特征、物体布局和运动轨迹，从而实现感知与控制的解耦。
技术框架：整体架构包括三个主要模块：单目深度特征提取、语言基础的物体布局生成和指令条件的运动轨迹预测。这些模块协同工作，形成一个完整的操控策略。
关键创新：最重要的技术创新点在于SSI的设计，使其能够在不依赖深度传感器的情况下，利用RGB图像进行有效的空间理解和任务执行。这与现有方法的依赖深度信息的方式形成了本质区别。
关键设计：在关键设计方面，论文采用了特定的损失函数来优化各个模块的输出，并通过实验验证了几何和运动线索在共享接口中的互补效益。
🖼️ 关键图片
📊 实验亮点
实验结果表明，SSI-Policy在LIBERO基准上仅使用10个演示的情况下，性能提升近15%。与依赖50个演示的现有方法相比，SSI-Policy在低数据条件下仍保持竞争力，展示了其在实际应用中的潜力。
🎯 应用场景
该研究的潜在应用领域包括智能家居、工业自动化和服务机器人等。通过提高机器人在复杂环境中的操控能力，SSI-Policy能够显著提升机器人在实际任务中的表现，推动机器人技术的广泛应用和发展。
📄 摘要（原文）
Real-world robotic manipulation demands spatial grounding, task-aware reasoning, and precise control. Learning such capabilities becomes particularly challenging in the low-data regime. Prior methods often trade off scalable task-level reasoning and explicit physical structure: video-based approaches can drift geometrically over long horizons, 3D approaches often require depth sensing, and many flow/trajectory interfaces emphasize motion without an explicit RGB-only geometric representation. We introduce SSI-Policy, a modular framework built around a Structured Scene Interface (SSI) -- a unified, RGB-only intermediate representation that jointly encodes monocular depth features, language-grounded object layouts, and instruction-conditioned 2D motion trajectories. Critically, SSI is robot-agnostic and trainable from action-free video, decoupling perception from control so that the downstream policy can learn from few demonstrations. On the LIBERO benchmark with only 10 demonstrations per task, SSI-Policy improves over the strongest prior method by nearly 15\% and remains competitive with 50-demo methods that leverage large-scale external pretraining. Ablations show that geometric and motion cues provide complementary benefits within the shared interface. We further validate on 13 real-world tasks spanning spatial reasoning, cross-embodiment transfer, and contact-rich manipulation.