R2RDreamer: 3D-aware Data Augmentation for Spatially-generalized 2D Manipulation Policies

📄 arXiv: 2606.17040v1 📥 PDF

作者: Xiuwei Xu, Haowen Sun, Angyuan Ma, Yiwei Zhang, Zhenyu Wu, Xiaofeng Wang, Bingyao Yu, Zheng Zhu, Jie Zhou, Jiwen Lu

分类: cs.RO, cs.CV

发布日期: 2026-06-15

备注: Project page: https://r2rdreamer.github.io/

💡 一句话要点

提出R2RDreamer以解决空间泛化的2D操作策略问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 空间泛化 模仿学习 数据增强 3D编辑 视频生成 机器人操作 视觉完成

📋 核心要点

  1. 现有方法在实现空间泛化时面临高昂的真实世界数据收集成本和复杂的环境设置问题。
  2. R2RDreamer通过在共享3D框架中编辑不完整的物体点云和末端执行器轨迹，结合2D视频空间的视觉完成，提供了一种新的增强框架。
  3. 实验结果表明，R2RDreamer在空间转移的操作任务中显著提高了从有限源演示中的空间泛化能力。

📝 摘要（中文）

空间泛化对于模仿学习的操作策略至关重要，但通常需要在多样的物体姿态、机器人配置和相机视角下扩展演示。基于真实数据的增强方法R2RDreamer，通过在2D视频空间中进行几何一致性的3D动作-观察编辑，提供了一种有效的替代方案。该方法在空间转移的操作任务中显示出显著的性能提升，验证了3D编辑、遮挡感知投影和视频完成的贡献。

🔬 方法详解

问题定义：论文旨在解决模仿学习操作策略在空间泛化方面的不足，现有方法依赖于复杂的3D场景解析和几何补全，且通常针对RGB图像的2D策略效果不佳。

核心思路：R2RDreamer的核心思路是通过在3D空间中进行轻量级的动作-观察编辑，同时将视觉完成转移到2D视频空间，从而保持几何一致性并减少真实世界数据的需求。

技术框架：该方法首先在共享的3D框架中编辑物体点云和执行器轨迹，接着将编辑后的场景投影到遮挡感知的图像空间控制视频中，最后利用密集控制的图像到视频模型完成时间一致的RGB观察。

关键创新：R2RDreamer的主要创新在于其将3D编辑与2D视频空间的视觉完成相结合，避免了传统方法对强3D场景解析的依赖，且能够生成适用于2D策略的观察结果。

关键设计：在设计中，采用了遮挡感知的投影技术和密集控制的图像到视频模型，确保了生成视频的时间一致性和视觉连贯性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，R2RDreamer在空间转移的操作任务中，相较于基线方法，空间泛化能力提升了显著的XX%（具体数据待补充），有效验证了3D编辑、遮挡感知投影和视频完成的贡献。

🎯 应用场景

R2RDreamer在机器人操作、自动化制造和虚拟现实等领域具有广泛的应用潜力。通过提高模仿学习策略的空间泛化能力，该方法能够降低对真实数据的依赖，促进更高效的机器人学习和操作。未来，该技术可能推动更智能的机器人系统在复杂环境中的应用。

📄 摘要（原文）

Spatial generalization is critical for imitation-learned manipulation policies, but achieving it typically requires scaling demonstrations across diverse object poses, robot configurations, and camera viewpoints. Data augmentation from a few source demonstrations offers a practical alternative to costly real-world collection. Simulation-based augmentation can create controllable variation, but requires complex environment and object setup and may introduce a sim-to-real gap. Recent real-to-real methods avoid these issues by jointly editing 3D observations and action trajectories from real demonstrations, yet they still rely on strong 3D scene parsing and geometry completion, and often produce observations tailored to 3D pointcloud policies rather than RGB-based 2D policies. We propose R2RDreamer, a real-to-real demonstration augmentation framework that preserves the geometric consistency of 3D action-observation editing while moving visual completion to 2D video space. Specifically, R2RDreamer first performs lightweight 3D augmentation by editing incomplete object pointclouds and end-effector trajectories in a shared 3D frame; it then projects the edited scene into masked image-space control videos with occlusion-aware reasoning and uses a dense-control image-to-video model to complete temporally coherent RGB observations. Experiments on spatially shifted manipulation tasks with both 2D diffusion-style policies and vision-language-action policies show that R2RDreamer improves spatial generalization from limited source demonstrations, with analyses validating the contributions of 3D editing, occlusion-aware projection, and video completion.