MeshPriorDiT: Hierarchical Modeling for Action-Conditioned Cloth Dynamics

📄 arXiv: 2608.26766v1 📥 PDF

作者: Zihang Wang, Jianming Hu, Shang Su, Hao Huang, Mengkai Shi, Jun Gao, Shuo Feng

分类: cs.RO

发布日期: 2026-08-27

💡 一句话要点

提出MeshPriorDiT以解决布料动态预测中的长程协调问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 布料动态预测 图神经网络 Transformer 残差生成 物理建模 长程协调 虚拟现实 机器人抓取

📋 核心要点

  1. 现有方法在布料动态预测中面临局部变形与长程协调的挑战，导致预测精度不足。
  2. 本文提出MeshPriorDiT，通过分层建模将布料运动分解为网格先验和生成残差，以提高预测的准确性。
  3. 在三项布料操作任务中，MeshPriorDiT在15步自回归展开中，平均减少了43.42%的全局均方误差，相较于GNN-Only基线提升显著。

📝 摘要（中文）

动作条件下的布料动态预测需要局部合理的变形和长程协调。现有方法主要遵循两种范式：基于网格的图神经网络（GNN）捕捉局部物理响应，但有限的信息传递范围限制了远程区域的协调；而自回归展开方法则容易累积预测误差。Transformer基础的动态模型通过全局注意力捕捉长程交互，但通常缺乏明确的材料连接，必须直接从数据中学习局部拓扑响应。为此，本文提出了MeshPriorDiT，一个分层动态模型，将未来布料运动分解为结构化的网格先验和生成残差。首先，基于动作条件的网格GNN预测多步顶点位移，生成尊重材料拓扑和抓取约束的参考轨迹。然后，基于历史状态、计划动作和网格先验，残差DiT使用条件流匹配共同生成未被先验捕捉的残余运动。生成的残差进一步通过材料邻接进行重新缩放和解码，以协调相邻顶点的修正。

🔬 方法详解

问题定义：本文旨在解决动作条件下布料动态预测中的局部变形与长程协调问题。现有方法如基于网格的GNN因信息传递范围有限，难以有效协调远程区域，而自回归方法则容易导致预测误差的累积。

核心思路：MeshPriorDiT的核心思路是将未来布料运动分解为结构化的网格先验和生成的残差。通过这种分解，模型能够更好地捕捉局部和全局的动态特性，提升预测的准确性。

技术框架：MeshPriorDiT的整体架构包括两个主要模块：首先是基于动作条件的网格GNN，用于预测多步顶点位移，生成参考轨迹；其次是残差DiT，基于历史状态和计划动作生成未被先验捕捉的残余运动。

关键创新：最重要的创新点在于将网格先验与生成残差相结合，形成一种新的动态预测框架。这种方法与现有的单一模型方法相比，能够更有效地捕捉布料的物理特性和动态变化。

关键设计：在模型设计中，采用了条件流匹配技术来生成残余运动，并通过材料邻接进行重新缩放和解码，以确保相邻顶点之间的协调修正。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在三项布料操作任务中，MeshPriorDiT在15步自回归展开中，平均减少了43.42%的全局均方误差，相较于GNN-Only基线显著提升，同时在边缘应变均方误差方面与GNN-Only保持相当。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在虚拟现实、动画制作和机器人抓取等领域。通过提高布料动态预测的准确性，MeshPriorDiT可以帮助实现更自然的布料交互和更精确的物体操控，推动相关技术的发展。

📄 摘要（原文）

Action-conditioned cloth dynamics prediction requires both locally plausible deformation and long-range coordination. Existing approaches largely follow two paradigms. Mesh-based GNNs capture local physical responses through material connectivity. However, their finite message-passing range limits coordination between topologically distant regions, while autoregressive rollouts tend to accumulate prediction errors. Transformer-based dynamics models capture long-range interactions through global attention, but often operate without explicit material connectivity and must learn local topological responses directly from data. We propose MeshPriorDiT, a hierarchical dynamics model that decomposes future cloth motion into a structured mesh prior and a generative residual. An action-conditioned mesh GNN first predicts multi-step vertex displacements, yielding a reference trajectory that respects material topology and grasp constraints. Conditioned on historical states, planned actions, and the mesh prior, a Residual DiT then uses conditional flow matching to jointly generate the residual motion not captured by the prior. The generated residual is further rescaled and decoded using material adjacency to coordinate corrections across neighboring vertices. We evaluate MeshPriorDiT on 15-step autoregressive rollouts across three cloth manipulation tasks. Averaged over the three tasks, MeshPriorDiT reduces average Global MSE by 43.42% relative to the GNN-Only baseline and by 75.03% relative to the DiT-DDPM baseline, while maintaining a favorable Edge-strain MSE comparable to that of GNN-Only.