D-Cubed: Latent Diffusion Trajectory Optimisation for Dexterous Deformable Manipulation

📄 arXiv: 2403.12861v1 📥 PDF

作者: Jun Yamada, Shaohong Zhong, Jack Collins, Ingmar Posner

分类: cs.RO, cs.LG

发布日期: 2024-03-19

备注: https://applied-ai-lab.github.io/D-cubed/

💡 一句话要点

提出D-Cubed以解决灵巧可变形物体操控问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 轨迹优化 潜在扩散模型 灵巧操控 可变形物体 机器人技术 机器学习 变分自编码器

📋 核心要点

  1. 现有轨迹优化方法在灵巧可变形物体操控任务中面临搜索空间大和任务信息不足的挑战。
  2. D-Cubed通过潜在扩散模型和变分自编码器，学习技能潜在空间并优化操控轨迹，提供了一种新颖的解决方案。
  3. 实验证明，D-Cubed在灵巧可变形物体操控任务中显著优于传统方法，且其轨迹能够有效转移到真实机器人上。

📝 摘要（中文）

掌握灵巧的机器人操控可变形物体对于克服平行夹具在实际应用中的局限性至关重要。现有的轨迹优化方法常因搜索空间大和任务信息有限而难以解决此类任务。本文提出D-Cubed，一种基于潜在扩散模型的轨迹优化方法，利用从任务无关的游戏数据集中训练的模型来解决灵巧的可变形物体操控任务。D-Cubed通过变分自编码器学习技能潜在空间，并使用潜在扩散模型将技能潜在编码成技能轨迹。为优化目标任务的轨迹，本文引入了一种新颖的无梯度引导采样方法，利用交叉熵方法在反向扩散过程中进行探索。通过在公共基准上的实证评估，D-Cubed显著优于传统轨迹优化和竞争基线方法，并且找到的轨迹能够有效转移到实际的LEAP手上进行折叠任务。

🔬 方法详解

问题定义：本文旨在解决灵巧机器人在操控可变形物体时的轨迹优化问题。现有方法由于搜索空间过大和任务信息不足，难以有效找到最佳操控轨迹。

核心思路：D-Cubed的核心思路是利用潜在扩散模型（LDM）和变分自编码器（VAE）来学习技能潜在空间，从而将短期动作编码为长期操控轨迹。通过引入无梯度引导采样方法，D-Cubed能够在反向扩散过程中有效探索和优化轨迹。

技术框架：D-Cubed的整体架构包括三个主要模块：首先，使用VAE从游戏数据集中学习技能潜在空间；其次，训练LDM以将技能潜在组合成技能轨迹；最后，采用交叉熵方法进行无梯度引导采样，优化目标任务的轨迹。

关键创新：D-Cubed的主要创新在于引入了无梯度引导采样方法，结合反向扩散过程进行轨迹优化。这一方法有效克服了传统轨迹优化方法在高维空间中的局限性。

关键设计：在设计中，D-Cubed使用了特定的损失函数来优化潜在空间的学习，并在LDM中采用了适当的网络结构，以确保生成的轨迹能够有效反映操控任务的需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，D-Cubed在灵巧可变形物体操控任务中显著优于传统轨迹优化方法，性能提升幅度达到XX%（具体数据需根据实验结果填写）。此外，D-Cubed找到的轨迹能够有效转移到真实的LEAP手上进行折叠任务，验证了其实际应用能力。

🎯 应用场景

该研究的潜在应用领域包括机器人抓取、装配和其他需要灵巧操控的场景。D-Cubed的创新方法能够提高机器人在复杂环境中处理可变形物体的能力，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Mastering dexterous robotic manipulation of deformable objects is vital for overcoming the limitations of parallel grippers in real-world applications. Current trajectory optimisation approaches often struggle to solve such tasks due to the large search space and the limited task information available from a cost function. In this work, we propose D-Cubed, a novel trajectory optimisation method using a latent diffusion model (LDM) trained from a task-agnostic play dataset to solve dexterous deformable object manipulation tasks. D-Cubed learns a skill-latent space that encodes short-horizon actions in the play dataset using a VAE and trains a LDM to compose the skill latents into a skill trajectory, representing a long-horizon action trajectory in the dataset. To optimise a trajectory for a target task, we introduce a novel gradient-free guided sampling method that employs the Cross-Entropy method within the reverse diffusion process. In particular, D-Cubed samples a small number of noisy skill trajectories using the LDM for exploration and evaluates the trajectories in simulation. Then, D-Cubed selects the trajectory with the lowest cost for the subsequent reverse process. This effectively explores promising solution areas and optimises the sampled trajectories towards a target task throughout the reverse diffusion process. Through empirical evaluation on a public benchmark of dexterous deformable object manipulation tasks, we demonstrate that D-Cubed outperforms traditional trajectory optimisation and competitive baseline approaches by a significant margin. We further demonstrate that trajectories found by D-Cubed readily transfer to a real-world LEAP hand on a folding task.