R2RGEN: Real-to-Real 3D Data Generation for Spatially Generalized Manipulation

📄 arXiv: 2510.08547v1 📥 PDF

作者: Xiuwei Xu, Angyuan Ma, Hankun Li, Bingyao Yu, Zheng Zhu, Jie Zhou, Jiwen Lu

分类: cs.RO, cs.CV

发布日期: 2025-10-09

备注: Project page: https://r2rgen.github.io/

💡 一句话要点

提出R2RGen，用于生成真实3D数据，提升机器人空间泛化操作能力。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 机器人操作 空间泛化 数据生成 点云处理 模仿学习

📋 核心要点

  1. 现有方法在机器人操作的空间泛化性方面存在不足，主要挑战在于模拟到真实的差距以及对固定场景和视角的限制。
  2. R2RGen通过直接增强真实世界的点云数据，避免了模拟器和渲染，从而高效地生成空间多样性的训练数据。
  3. 实验结果表明，R2RGen显著提高了数据效率，并具备在移动操作中扩展和应用的潜力。

📝 摘要（中文）

为了实现机器人操作的泛化性，空间泛化是最基本的能力，它要求策略在不同的物体空间分布、环境和机器人自身下都能稳健地工作。为了实现这一点，需要收集大量的人工演示，以覆盖不同的空间配置，从而通过模仿学习训练一个通用的视觉运动策略。先前的工作探索了一个有希望的方向，即利用数据生成从最少的源演示中获取丰富的空间多样性数据。然而，大多数方法面临着显著的模拟到真实差距，并且通常仅限于受限的设置，例如固定基座场景和预定义的相机视角。在本文中，我们提出了一个真实到真实的3D数据生成框架（R2RGen），它直接增强点云观测-动作对以生成真实世界数据。R2RGen无需模拟器和渲染，因此高效且即插即用。具体来说，给定单个源演示，我们引入了一种注释机制，用于细粒度地解析场景和轨迹。提出了一种分组增强策略，以处理复杂的多对象组合和不同的任务约束。我们进一步提出了相机感知处理，以使生成数据的分布与真实世界3D传感器对齐。经验表明，R2RGen在广泛的实验中显著提高了数据效率，并展示了在移动操作中进行扩展和应用的强大潜力。

🔬 方法详解

问题定义：论文旨在解决机器人操作中空间泛化能力不足的问题。现有方法依赖大量人工标注数据或存在模拟到真实的差距，限制了策略在真实世界复杂环境中的应用。这些方法通常在固定基座和预定义相机视角下进行，难以推广到更广泛的场景。

核心思路：R2RGen的核心思路是直接在真实数据上进行增强，避免模拟器带来的偏差。通过对真实场景的点云数据进行细粒度的解析和分组增强，生成具有空间多样性的训练数据，从而提高策略的空间泛化能力。这种方法无需渲染，效率更高，更易于部署。

技术框架：R2RGen框架主要包含以下几个阶段：1) 数据采集：从真实世界获取少量源演示数据。2) 场景和轨迹解析：对源演示数据进行细粒度的场景和轨迹解析，标注物体和动作。3) 分组增强：采用分组增强策略，处理复杂的多物体组合和任务约束，生成新的点云数据。4) 相机感知处理：对生成的数据进行相机感知处理，使其分布与真实世界3D传感器对齐。

关键创新：R2RGen的关键创新在于其真实到真实的数据生成方式，避免了模拟器带来的偏差。此外，细粒度的场景和轨迹解析以及分组增强策略，能够有效地处理复杂的多物体场景和任务约束。相机感知处理进一步提高了生成数据的真实性。

关键设计：R2RGen的关键设计包括：1) 细粒度标注机制：用于精确解析场景和轨迹，为后续的增强提供基础。2) 分组增强策略：根据物体之间的关系和任务约束，对物体进行分组，并分别进行增强，保证生成数据的合理性。3) 相机感知处理：通过调整点云数据的视角和噪声，使其分布与真实世界3D传感器采集的数据更加接近。具体的参数设置和网络结构等细节未在摘要中提及，属于未知信息。

📊 实验亮点

R2RGen通过真实到真实的数据生成，显著提高了机器人操作的数据效率。摘要中提到，R2RGen在广泛的实验中表现出强大的潜力，但具体的性能数据、对比基线和提升幅度等细节未在摘要中给出，属于未知信息。可以推断，R2RGen在数据效率方面优于现有方法。

🎯 应用场景

R2RGen具有广泛的应用前景，可用于提升各种机器人操作任务的空间泛化能力，例如移动操作、抓取放置、装配等。该方法可以降低对大量人工标注数据的依赖，加速机器人策略的训练和部署，尤其适用于复杂、动态的真实世界环境。未来，R2RGen有望推动机器人技术在工业自动化、家庭服务等领域的应用。

📄 摘要（原文）

Towards the aim of generalized robotic manipulation, spatial generalization is the most fundamental capability that requires the policy to work robustly under different spatial distribution of objects, environment and agent itself. To achieve this, substantial human demonstrations need to be collected to cover different spatial configurations for training a generalized visuomotor policy via imitation learning. Prior works explore a promising direction that leverages data generation to acquire abundant spatially diverse data from minimal source demonstrations. However, most approaches face significant sim-to-real gap and are often limited to constrained settings, such as fixed-base scenarios and predefined camera viewpoints. In this paper, we propose a real-to-real 3D data generation framework (R2RGen) that directly augments the pointcloud observation-action pairs to generate real-world data. R2RGen is simulator- and rendering-free, thus being efficient and plug-and-play. Specifically, given a single source demonstration, we introduce an annotation mechanism for fine-grained parsing of scene and trajectory. A group-wise augmentation strategy is proposed to handle complex multi-object compositions and diverse task constraints. We further present camera-aware processing to align the distribution of generated data with real-world 3D sensor. Empirically, R2RGen substantially enhances data efficiency on extensive experiments and demonstrates strong potential for scaling and application on mobile manipulation.