Spatially Conditioned Diffusion Policy: Learning Precise and Robust Manipulation with a Single RGB Camera
作者: Seoyoon Kim, Kanghyun Kim, Dongwoo Ko, Yeong Jin Heo, Min Jun Kim
分类: cs.RO
发布日期: 2026-06-12
备注: 15 pages
💡 一句话要点
提出空间条件扩散策略以解决单摄像头操控精度问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 视觉模仿学习 单摄像头操控 扩散策略 机器人技术 视觉注意力 多尺度特征提取 稳健性
📋 核心要点
- 现有的视觉模仿学习系统通常依赖多摄像头设置，单摄像头在捕捉细粒度交互细节和识别任务相关区域方面存在挑战。
- 本文提出的空间条件扩散策略（SCDP）利用末端执行器轨迹作为视觉注意力锚点，结合视觉编码器和空间条件模块来实现操控。
- 实验结果显示，SCDP在单摄像头设置下的表现超越了强大的单视图基线，并与多摄像头基线相当，展现出良好的实际应用潜力。
📝 摘要（中文）
近年来，视觉模仿学习系统普遍采用多摄像头设置，但在单一全局视角下进行操控仍然具有挑战性。为此，本文提出了空间条件扩散策略（SCDP），这是一种基于扩散的视觉运动策略，能够在单摄像头环境中实现精确且稳健的操控。SCDP的核心思想是将末端执行器轨迹作为视觉注意力锚点，以反映任务相关区域。该方法包括两个关键组件：一个视觉编码器用于生成多尺度特征图，以捕捉更广泛的上下文和细粒度的视觉特征；一个空间条件模块在扩散循环中沿着中间末端执行器轨迹采样逐点特征。大量仿真实验表明，SCDP在单视图基线中表现优异，且其性能与多摄像头基线相当。实际实验进一步验证了其在视觉干扰下的精确操控和稳健性，展示了单摄像头模仿学习的潜力。
🔬 方法详解
问题定义：本文旨在解决单摄像头环境下的精确操控问题，现有方法在捕捉细节和任务相关区域方面存在不足，导致操控效果不佳。
核心思路：SCDP的核心思路是将末端执行器轨迹视为视觉注意力的锚点，以此来引导模型关注任务相关的视觉信息，从而提高操控精度。
技术框架：SCDP的整体架构包括两个主要模块：视觉编码器和空间条件模块。视觉编码器生成多尺度特征图，空间条件模块在扩散循环中沿轨迹采样特征。
关键创新：SCDP的创新在于将末端执行器轨迹与视觉注意力结合，形成了一种新的视觉运动策略，与传统方法相比，能够更好地处理单视角下的操控任务。
关键设计：在设计上，视觉编码器采用多尺度特征提取，空间条件模块则通过点采样技术来获取轨迹特征，确保模型能够有效捕捉到任务相关的视觉信息。
🖼️ 关键图片
📊 实验亮点
实验结果表明，SCDP在单视图基线中表现出色，超越了多个强基线，且在多摄像头基线中也达到了相当的性能水平。具体而言，SCDP在面对视觉干扰时，依然能够保持高精度的操控，展示了其在实际应用中的稳健性。
🎯 应用场景
该研究的潜在应用领域包括机器人操控、自动化生产线以及人机交互等场景。通过提升单摄像头的操控精度，SCDP有望在资源受限的环境中实现高效的视觉模仿学习，推动智能机器人技术的发展。
📄 摘要（原文）
Recent visual imitation learning systems have widely adopted multi-camera setups with wrist-mounted cameras as the de facto standard. However, manipulation from a single global view remains challenging, as the policy should capture fine-grained interaction details and identify task-relevant regions without local wrist views. To address this challenge, we present Spatially Conditioned Diffusion Policy (SCDP), a diffusion-based visuomotor policy that achieves precise and robust manipulation in a single-camera setting. Our key idea is that end-effector trajectories can serve as visual attention anchors that reflect task-relevant regions. Building on this idea, SCDP consists of two key components: (i) a visual encoder that produces multi-scale feature maps to capture both broader context and fine-grained visual features, and (ii) a spatial conditioning module that samples point-wise features along intermediate end-effector trajectories in the diffusion loop. Extensive simulation experiments show that SCDP consistently outperforms strong single-view baselines and achieves performance comparable to multi-camera baselines. Real-world experiments further demonstrate precise manipulation and robustness to visual distractors, highlighting the potential of single-camera imitation learning.