Make a Donut: Hierarchical EMD-Space Planning for Zero-Shot Deformable Manipulation with Tools
作者: Yang You, Bokui Shen, Congyue Deng, Haoran Geng, Songlin Wei, He Wang, Leonidas Guibas
分类: cs.RO, cs.AI
发布日期: 2023-11-05 (更新: 2025-02-02)
备注: 8 pages. IEEE Robotics and Automation Letters (RA-L). Preprint Version. Accepted January, 2025
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出层次化EMD空间规划以解决无示范可变形物体操控问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 可变形物体操控 层次化规划 无示范学习 大型语言模型 闭环控制 模型预测控制 地球搬运者距离 机器人技术
📋 核心要点
- 现有可变形物体操控方法依赖示范学习，获取适合的示范尤其在长时间任务中困难，限制了模型的泛化能力。
- 本文提出无示范的层次化规划方法，利用大型语言模型生成逐阶段计划，结合细粒度的闭环控制策略。
- 实验结果显示，该方法在面团操控任务中超越多个基准，且对新任务展现出强泛化能力，具有实际应用潜力。
📝 摘要（中文）
可变形物体操控是机器人领域中的一大挑战。以往的方法主要依赖于通过示范学习潜在动态，但获取适合的示范尤其在长时间任务中往往困难。此外，完全基于示范的学习限制了模型的泛化能力。本文提出了一种无示范的层次化规划方法，能够处理复杂的长时间任务，无需任何训练。我们利用大型语言模型（LLMs）制定高层次的逐阶段计划，并为每个阶段提供工具名称和Python代码，以生成中间子目标点云。结合工具和子目标，我们提出了一种细粒度的闭环模型预测控制策略，利用可微物理学与点对点对应（DiffPhysics-P2P）损失在地球搬运者距离（EMD）空间中迭代应用。实验结果表明，该方法在面团操控任务中超越了多个基准，展现出对新任务的强泛化能力。
🔬 方法详解
问题定义：本文旨在解决可变形物体操控中的示范获取困难和模型泛化能力不足的问题。现有方法依赖于示范学习，难以应对复杂的长时间任务。
核心思路：提出一种无示范的层次化规划方法，通过大型语言模型生成高层次的任务计划，结合细粒度的闭环控制策略，避免了对示范的依赖。
技术框架：整体架构包括三个主要模块：1) 使用LLM生成逐阶段的任务计划；2) 为每个阶段提供工具名称和Python代码生成子目标点云；3) 采用闭环模型预测控制策略，利用DiffPhysics-P2P损失在EMD空间中进行迭代优化。
关键创新：最重要的创新在于提出了无示范的层次化规划方法，利用LLM生成任务计划，显著提升了对复杂任务的处理能力，与传统依赖示范的方法本质上不同。
关键设计：关键设计包括使用DiffPhysics-P2P损失函数来优化控制策略，确保在EMD空间中进行有效的点云匹配，此外，LLM的使用使得任务规划更加灵活和高效。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的方法在面团操控任务中超过了多个基准，尤其在长时间任务中表现优异。具体而言，模型在新任务上的泛化能力显著提升，未经过任何示范训练，展现出强大的适应性。
🎯 应用场景
该研究的潜在应用领域包括机器人抓取、制造业中的自动化装配、以及医疗领域的可变形物体处理等。其无示范的操控方法能够在多种复杂环境中灵活应用，具有重要的实际价值和未来影响。
📄 摘要（原文）
Deformable object manipulation stands as one of the most captivating yet formidable challenges in robotics. While previous techniques have predominantly relied on learning latent dynamics through demonstrations, typically represented as either particles or images, there exists a pertinent limitation: acquiring suitable demonstrations, especially for long-horizon tasks, can be elusive. Moreover, basing learning entirely on demonstrations can hamper the model's ability to generalize beyond the demonstrated tasks. In this work, we introduce a demonstration-free hierarchical planning approach capable of tackling intricate long-horizon tasks without necessitating any training. We employ large language models (LLMs) to articulate a high-level, stage-by-stage plan corresponding to a specified task. For every individual stage, the LLM provides both the tool's name and the Python code to craft intermediate subgoal point clouds. With the tool and subgoal for a particular stage at our disposal, we present a granular closed-loop model predictive control strategy. This leverages Differentiable Physics with Point-to-Point correspondence (DiffPhysics-P2P) loss in the earth mover distance (EMD) space, applied iteratively. Experimental findings affirm that our technique surpasses multiple benchmarks in dough manipulation, spanning both short and long horizons. Remarkably, our model demonstrates robust generalization capabilities to novel and previously unencountered complex tasks without any preliminary demonstrations. We further substantiate our approach with experimental trials on real-world robotic platforms. Our project page: https://qq456cvb.github.io/projects/donut.