Right-Side-Out: Learning Zero-Shot Sim-to-Real Garment Reversal

📄 arXiv: 2509.15953v1 📥 PDF

作者: Chang Yu, Siyu Ma, Wenxin Du, Zeshun Zong, Han Xue, Wendi Chen, Cewu Lu, Yin Yang, Xuchen Han, Joseph Masterjohn, Alejandro Castro, Chenfanfu Jiang

分类: cs.RO

发布日期: 2025-09-19

备注: More details and supplementary material are on the website: https://right-side-out.github.io

💡 一句话要点

提出Right-Side-Out框架，解决服装翻转中零样本Sim-to-Real难题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 服装翻转 机器人操作 零样本学习 Sim-to-Real 任务分解 材料点法 深度学习

📋 核心要点

  1. 服装翻转任务因其高度动态性、频繁接触变化和严重遮挡，对机器人操作构成挑战，现有方法难以有效解决。
  2. Right-Side-Out框架通过任务分解为拖拽/抛掷和插入/拉动两个阶段，并结合深度推断的关键点参数化操作原语，简化动作空间并提高鲁棒性。
  3. 该框架利用高保真MPM模拟器生成大量无标注数据，实现了完全在模拟中训练的策略在真实机器人上的零样本部署，成功率高达81.3%。

📝 摘要（中文）

本文提出Right-Side-Out框架，通过利用任务结构有效解决服装正面翻转这一挑战性操作任务。该任务具有高度动态性、快速接触变化和严重视觉遮挡等特点。我们将任务分解为“拖拽/抛掷”以创建和稳定开口，然后进行“插入和拉动”以反转服装。每个步骤都使用深度推断、关键点参数化的双手动操作原语，从而在保持鲁棒性的同时显著减少动作空间。我们定制的高保真GPU并行材料点法（MPM）模拟器能够模拟薄壳变形，并为批量rollout提供鲁棒高效的接触处理，从而实现高效的数据生成。基于该模拟器，我们构建了全自动流程，通过随机化服装几何形状、材料参数和视点来扩展数据生成，无需任何人工标注即可生成深度、掩码和每个原语的关键点标签。仅使用单个深度相机，完全在模拟中训练的策略即可在真实硬件上进行零样本部署，成功率高达81.3%。通过采用任务分解和高保真模拟，我们的框架能够处理高度动态、严重遮挡的任务，而无需费力的人工演示。

🔬 方法详解

问题定义：论文旨在解决服装翻转的机器人操作问题，这是一个具有挑战性的任务，因为它涉及到复杂的物理交互、快速变化的接触状态以及严重的视觉遮挡。现有的方法通常依赖于大量的人工标注数据或复杂的强化学习算法，难以实现零样本的Sim-to-Real迁移，泛化能力有限。

核心思路：论文的核心思路是将复杂的服装翻转任务分解为更简单的子任务，并设计相应的操作原语来执行这些子任务。通过利用任务的结构化信息，可以显著减少动作空间，并提高策略的鲁棒性。此外，使用高保真度的物理模拟器生成大量数据，可以有效地训练策略，并实现零样本的Sim-to-Real迁移。

技术框架：该框架主要包含三个部分：任务分解、操作原语设计和数据生成。首先，将服装翻转任务分解为“拖拽/抛掷”和“插入/拉动”两个阶段。然后，为每个阶段设计相应的操作原语，这些原语由深度推断的关键点参数化。最后，使用高保真度的MPM模拟器生成大量数据，用于训练策略。整体流程是：在模拟环境中随机生成服装的几何形状、材料参数和视点，然后使用操作原语执行翻转任务，并记录下深度图像、掩码和关键点标签。这些数据被用于训练策略，策略最终部署到真实机器人上。

关键创新：该论文的关键创新在于以下几个方面：1) 提出了一种基于任务分解和操作原语的服装翻转方法，可以有效地简化动作空间并提高鲁棒性。2) 使用高保真度的MPM模拟器生成大量数据，实现了零样本的Sim-to-Real迁移。3) 设计了一种深度推断的关键点参数化操作原语，可以有效地利用视觉信息来控制机器人的动作。与现有方法相比，该方法不需要大量的人工标注数据，并且具有更好的泛化能力。

关键设计：在操作原语的设计中，使用了深度推断的关键点来参数化机器人的动作。具体来说，首先使用深度相机获取服装的深度图像，然后使用深度学习模型推断出服装的关键点位置。这些关键点位置被用于计算机器人的目标位置和姿态。在数据生成过程中，随机化了服装的几何形状、材料参数和视点，以增加数据的多样性。在训练策略时，使用了强化学习算法，并设计了相应的奖励函数，以鼓励机器人成功地完成翻转任务。

📊 实验亮点

实验结果表明，该框架在真实机器人上实现了高达81.3%的零样本成功率。与传统的基于人工标注数据的方法相比，该方法不需要任何人工标注，并且具有更好的泛化能力。此外，该框架还可以在不同的服装几何形状和材料参数下实现良好的性能，证明了其鲁棒性。

🎯 应用场景

该研究成果可应用于服装制造、家政服务、医疗护理等领域。例如，在服装制造中，机器人可以自动完成服装的翻转和整理，提高生产效率。在家政服务中，机器人可以帮助人们整理衣物。在医疗护理中，机器人可以帮助病人穿脱衣服，减轻医护人员的负担。该研究的未来发展方向包括提高策略的鲁棒性和泛化能力，以及探索更复杂的服装操作任务。

📄 摘要（原文）

Turning garments right-side out is a challenging manipulation task: it is highly dynamic, entails rapid contact changes, and is subject to severe visual occlusion. We introduce Right-Side-Out, a zero-shot sim-to-real framework that effectively solves this challenge by exploiting task structures. We decompose the task into Drag/Fling to create and stabilize an access opening, followed by Insert&Pull to invert the garment. Each step uses a depth-inferred, keypoint-parameterized bimanual primitive that sharply reduces the action space while preserving robustness. Efficient data generation is enabled by our custom-built, high-fidelity, GPU-parallel Material Point Method (MPM) simulator that models thin-shell deformation and provides robust and efficient contact handling for batched rollouts. Built on the simulator, our fully automated pipeline scales data generation by randomizing garment geometry, material parameters, and viewpoints, producing depth, masks, and per-primitive keypoint labels without any human annotations. With a single depth camera, policies trained entirely in simulation deploy zero-shot on real hardware, achieving up to 81.3% success rate. By employing task decomposition and high fidelity simulation, our framework enables tackling highly dynamic, severely occluded tasks without laborious human demonstrations.