ReMu: Reconstructing Multi-layer 3D Clothed Human from Image Layers

📄 arXiv: 2508.01381v1 📥 PDF

作者: Onat Vuran, Hsuan-I Ho

分类: cs.GR, cs.CV

发布日期: 2025-08-02

备注: BMVC 2025 paper, 17 pages, 10 figures

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出ReMu以解决多层3D服装重建问题

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)

关键词: 3D重建 服装建模 计算机视觉 隐式神经场 虚拟现实 数字人类头像 碰撞优化

📋 核心要点

  1. 现有的多层3D服装重建方法依赖于复杂的多视角捕捉设备，成本高且难以实现。
  2. ReMu方法通过单个RGB相机捕捉不同服装层，采用统一的3D表示法重建多层服装，避免了模板依赖。
  3. 实验结果显示，ReMu在重建的3D穿衣人类中实现了几乎无穿透的效果，并与类别特定方法相比具有竞争力。

📝 摘要（中文）

多层3D服装的重建通常需要昂贵的多视角捕捉设备和专业的3D编辑工作。为支持生动的穿衣人类头像创建，我们提出了ReMu，通过单个RGB相机在新的图像层设置中重建多层穿衣人类。为了重建物理上合理的多层3D服装，我们首先在由规范体态定义的共享坐标系中重建和对齐每个服装层。随后，我们引入了一种考虑碰撞的优化过程，以解决相互穿透问题，并利用隐式神经场进一步优化服装边界。值得注意的是，我们的方法不依赖于模板且对类别无关，使得能够重建多样服装风格的3D服装。实验表明，我们的方法重建的3D穿衣人类几乎没有穿透，并且与特定类别的方法相比表现出竞争力。

🔬 方法详解

问题定义：本论文旨在解决多层3D服装重建中的高成本和复杂性问题。现有方法通常需要多视角捕捉设备，限制了其应用范围和可行性。

核心思路：ReMu通过单个RGB相机捕捉不同层次的服装，采用统一的3D表示法来重建多层服装，避免了对模板的依赖，且能够适应多种服装风格。

技术框架：整体流程包括：首先在共享坐标系中重建和对齐每个服装层；然后引入碰撞感知的优化过程，以解决层间穿透问题，并利用隐式神经场进一步优化服装边界。

关键创新：ReMu的主要创新在于其模板无关性和类别无关性，使得能够在多样的服装风格中进行有效重建，这与现有方法的依赖于特定模板和类别的方式形成鲜明对比。

关键设计：在技术细节上，论文设计了碰撞感知的优化算法，确保了服装层之间的合理交互，并利用隐式神经场来精细化服装边界，提升了重建质量。具体的损失函数和网络结构细节在论文中进行了详细描述。

📊 实验亮点

实验结果表明，ReMu方法在重建的3D穿衣人类中几乎没有穿透现象，且在与类别特定方法的比较中，表现出竞争力，具体性能数据未详细列出，但整体提升幅度显著，展示了其在多样服装风格中的有效性。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、游戏开发、在线购物和数字人类头像创建等。通过提供高质量的3D服装重建，ReMu能够提升用户体验，推动数字化服装行业的发展，未来可能在个性化时尚和虚拟试衣间等场景中发挥重要作用。

📄 摘要（原文）

The reconstruction of multi-layer 3D garments typically requires expensive multi-view capture setups and specialized 3D editing efforts. To support the creation of life-like clothed human avatars, we introduce ReMu for reconstructing multi-layer clothed humans in a new setup, Image Layers, which captures a subject wearing different layers of clothing with a single RGB camera. To reconstruct physically plausible multi-layer 3D garments, a unified 3D representation is necessary to model these garments in a layered manner. Thus, we first reconstruct and align each garment layer in a shared coordinate system defined by the canonical body pose. Afterwards, we introduce a collision-aware optimization process to address interpenetration and further refine the garment boundaries leveraging implicit neural fields. It is worth noting that our method is template-free and category-agnostic, which enables the reconstruction of 3D garments in diverse clothing styles. Through our experiments, we show that our method reconstructs nearly penetration-free 3D clothed humans and achieves competitive performance compared to category-specific methods. Project page: https://eth-ait.github.io/ReMu/