MeshLoom: Feed-Forward Non-Rigid Registration of Mesh Sequences
作者: Jianqi Chen, Jiraphon Yenphraphai, Xiangjun Tang, Sergey Tulyakov, Chaoyang Wang, Peter Wonka, Rameen Abdal
分类: cs.CV
发布日期: 2026-06-15
备注: Project page: https://meshloom.github.io/
💡 一句话要点
提出MeshLoom以解决非刚性网格序列配准问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 非刚性配准 网格序列 拓扑感知 多模态融合 运动插值 轻量级网络 计算机视觉
📋 核心要点
- 现有的非刚性配准方法通常受限于高昂的逐实例优化和狭窄的物体类别，难以处理复杂的网格序列。
- MeshLoom通过拓扑感知的点表示和多模态编码器，直接重建网格序列中的顶点变形，显著提高了配准效率。
- 实验结果表明，MeshLoom在多种运动和物体类别上实现了最先进的配准效果，并支持中间时间戳的变形生成。
📝 摘要（中文）
我们提出了MeshLoom，一种前馈注册网络，能够直接重建网格序列中的顶点变形。该方法超越了现有模型的局限，避免了高昂的逐实例优化、狭窄的物体类别、仅对偶输入或仅生成中间输出的限制。网络结构简单高效，能够在几秒内注册多个网格。核心是一个拓扑感知的编码-解码设计，首先引入拓扑感知点表示，将锚定网格的拓扑信息编码到每个顶点特征中，从而增强网络对锚定网格几何形状的理解，并消除欧几里得距离近但测地距离远的点的歧义。接着，我们提出了一个多模态编码器，将锚定网格表示与每帧的补充信息（如形状潜变量和图像特征）融合，压缩成一个紧凑的全局运动嵌入，捕捉密集的帧间对应关系。轻量级解码器则利用全局嵌入和锚定网格点表示，检索目标时间戳的每个顶点变形。通过广泛的实验，我们证明了MeshLoom在非刚性配准上达到了最先进的结果。
🔬 方法详解
问题定义：本论文旨在解决非刚性网格序列的配准问题。现有方法面临逐实例优化成本高、物体类别狭窄、仅支持对偶输入等挑战，限制了其应用范围。
核心思路：MeshLoom的核心思路是通过拓扑感知的点表示和多模态编码器，直接重建网格序列中的顶点变形。这种设计增强了网络对锚定网格几何形状的理解，能够有效处理复杂的网格变形。
技术框架：MeshLoom的整体架构包括拓扑感知编码器和轻量级解码器。编码器首先将锚定网格的拓扑信息编码为每个顶点特征，然后与每帧的补充信息融合，生成全局运动嵌入。解码器根据全局嵌入和锚定网格点表示，检索目标时间戳的顶点变形。
关键创新：MeshLoom的主要创新在于引入了拓扑感知的点表示和全局嵌入-查询的范式，这与现有方法的逐实例优化和对偶输入方式有本质区别。
关键设计：在网络结构上，采用了多模态编码器来融合不同来源的信息，损失函数设计上注重全局运动嵌入的准确性，确保了高效的配准性能。整体架构轻量化，使得处理速度大幅提升。
🖼️ 关键图片
📊 实验亮点
在多种运动和物体类别的实验中，MeshLoom实现了最先进的非刚性配准效果，相较于基线方法，配准速度提升显著，处理多个网格的时间缩短至几秒，且在中间时间戳的变形生成上表现优异。
🎯 应用场景
MeshLoom在动画制作、虚拟现实和医学成像等领域具有广泛的应用潜力。其高效的非刚性配准能力可以用于实时动画生成、物体变形模拟以及医学图像的动态分析，推动相关领域的技术进步与应用落地。
📄 摘要（原文）
We present MeshLoom, a feed-forward registration network that directly reconstructs vertex deformations across mesh sequences. Our approach advances non-rigid registration beyond existing models, which are typically constrained by costly per-instance optimization, narrow object categories, pairwise-only inputs, or merely intermediate outputs. The network is simple and efficient, registering multiple meshes within seconds. At its core lies a topology-aware encoder--decoder design. Specifically, we first introduce a topology-aware point representation that encodes the anchor (reference) mesh's topology into its per-vertex features. This representation strengthens the network's understanding of the anchor-mesh geometry and disambiguates points that are Euclidean-close yet geodesically distant. We then propose a multi-modal encoder that fuses this anchor-mesh representation with complementary cues from each frame, such as shape latents and image features. These multi-source signals are compressed into a compact global motion embedding that captures dense inter-frame correspondence. A lightweight decoder then queries this global embedding with the anchor-mesh point representation, retrieving per-vertex deformations at target timestamps. Through extensive experiments across diverse motions and object categories, we show that MeshLoom achieves state-of-the-art results on non-rigid registration. In addition, we find that our global embedding-then-query paradigm naturally enables the network to generate deformations at intermediate timestamps, which extends MeshLoom to motion interpolation and mesh morphing. Project page: https://meshloom.github.io/ .