PRISM: Personalized Robotic Dataset Generation via Image-based Scene and Motion Synthesis

📄 arXiv: 2607.04880v1 📥 PDF

作者: Dogyu Ko, Haneul Kim, Chanyoung Yeo, Dowoon Lee, Taeho Park, Hyoseok Hwang

分类: cs.RO

发布日期: 2026-07-06

💡 一句话要点

提出PRISM以解决个性化机器人数据集生成问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 个性化数据集 机器人学习 图像合成 自然语言处理 任务特定轨迹

📋 核心要点

  1. 现有方法在用户特定环境中直接部署机器人策略时，泛化能力有限，导致需要收集专门的数据集。
  2. PRISM通过单张图像和自然语言指令生成个性化机器人数据集，构建与用户环境对齐的数字场景，合成可执行演示。
  3. 实验结果显示，PRISM生成的数据集训练的策略在多个任务中表现优异，成功率高达100%，并在不同环境中保持强性能。

📝 摘要（中文）

近年来，预训练的视觉-语言-动作模型在机器人策略学习中取得了显著进展，但在用户特定环境中直接部署这些策略仍然面临挑战，主要由于泛化能力有限，迫切需要收集针对目标环境的数据集。虽然遥操作可以生成良好对齐的数据，但成本高且难以扩展；而仿真虽然易于扩展，但难以真实模拟目标环境并生成任务特定的轨迹。为了解决这两个问题，本文提出了PRISM，一个端到端的管道，能够从单张图像和自然语言指令生成个性化的机器人数据集。PRISM构建与用户环境在语义和几何上对齐的数字场景，并在实例级别上保持多样性，同时合成可执行的演示，无需人工遥操作。大量实验表明，基于PRISM生成的数据集训练的策略在LIBERO和LIBERO-Plus上优于基线生成的数据集，在三个真实世界的操作任务中成功率高达100%，并在与训练时环境不同的情况下仍保持较强性能。

🔬 方法详解

问题定义：本文旨在解决在用户特定环境中部署机器人策略时的泛化能力不足问题。现有方法如遥操作成本高且难以扩展，而仿真又难以真实模拟目标环境，导致任务特定轨迹生成困难。

核心思路：PRISM的核心思路是利用单张图像和自然语言指令生成个性化的数据集，通过构建与用户环境对齐的数字场景，来实现数据的多样性和可执行性，避免了人工遥操作的需求。

技术框架：PRISM的整体架构包括数据生成模块和场景合成模块。数据生成模块负责从输入的图像和指令中提取信息，而场景合成模块则构建与用户环境相似的数字场景，并生成相应的演示轨迹。

关键创新：PRISM的主要创新在于其能够在不依赖人工遥操作的情况下，自动生成与用户环境高度对齐的个性化数据集。这一方法与传统的遥操作和仿真方法本质上不同，提供了一种新的数据生成方式。

关键设计：在设计上，PRISM采用了特定的损失函数来确保生成场景的语义和几何对齐，同时使用了深度学习网络来合成可执行的演示轨迹。具体的参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于PRISM生成的数据集训练的策略在LIBERO和LIBERO-Plus上表现优异，成功率高达100%。与基线生成的数据集相比，PRISM方法在多个真实世界的操作任务中展现了显著的性能提升，尤其在不同环境下的适应性更强。

🎯 应用场景

该研究的潜在应用领域包括智能家居、服务机器人以及工业自动化等。通过生成个性化的数据集，PRISM能够帮助机器人更好地适应用户特定环境，提高其操作效率和成功率，具有重要的实际价值和未来影响。

📄 摘要（原文）

Recent advances in large-scale pretrained vision-language-action models have improved robot policy learning, but directly deploying such policies in user-specific environments remains challenging due to limited generalization, which inevitably requires collecting a dataset tailored to the target environment. Teleoperation yields well-aligned data but is costly and difficult to scale, whereas simulation scales easily but struggles to resemble the target environment and generate task-specific trajectories. To meet both simultaneously, we propose PRISM, an end-to-end pipeline that generates personalized robotic datasets from a single image and a natural-language instruction. PRISM constructs digital cousin scenes that are semantically and geometrically aligned with the user environment yet diverse at the instance level, and synthesizes executable demonstrations without human teleoperation. Extensive experiments show that policies trained on PRISM-generated datasets outperform those trained on baseline-generated datasets on LIBERO and LIBERO-Plus, achieve up to 100\% success rate on three real-world manipulation tasks, and maintain stronger performance when evaluated in environments that differ from those seen during training.