Structure-Aware Human Body Reshaping with Adaptive Affinity-Graph Network

📄 arXiv: 2404.13983v3 📥 PDF

作者: Qiwen Deng, Yangcen Liu, Wen Li, Guoqing Wang

分类: cs.CV

发布日期: 2024-04-22 (更新: 2025-01-24)

备注: 13 pages

💡 一句话要点

提出自适应亲和图网络以解决人体重塑中的一致性问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 人体重塑 自适应亲和图 光流生成 高频细节 深度学习 计算机视觉 图神经网络

📋 核心要点

  1. 现有方法在人体重塑中仅关注局部变换，忽视全局一致性，导致生成效果不佳。
  2. 本文提出自适应亲和图网络（AAGN），通过全局亲和性增强光流生成质量，提升整体一致性。
  3. 在BR-5K数据集上的实验结果显示，AAGN在美学吸引力上显著优于所有现有方法，达到了最先进水平。

📝 摘要（中文）

给定源图像，自动人体重塑任务旨在编辑出美观的体型。现有方法主要集中在生成光流以扭曲体型，但往往只考虑局部变换，忽视了全局亲和性，限制了整体一致性和质量。本文提出了一种新颖的自适应亲和图网络（AAGN），通过提取不同身体部位之间的全局亲和性来增强生成光流的质量。AAGN引入了自适应亲和图块（AAG）和身体形状鉴别器（BSD），前者通过完全连接图捕捉节点间的亲和性，后者则关注高频细节。大量实验表明，该框架显著提升了重塑照片的美学吸引力，超越了所有先前工作，在各项评估指标上达到了最先进水平。

🔬 方法详解

问题定义：本文解决的是自动人体重塑任务中的一致性问题。现有方法主要关注局部身体部位的变换，未能有效捕捉全局亲和性，导致生成结果的质量和一致性不足。

核心思路：论文的核心思路是通过自适应亲和图网络（AAGN）提取不同身体部位之间的全局亲和性，从而提升生成光流的质量。通过引入全连接图的特性，AAGN能够更好地捕捉身体部位之间的关系。

技术框架：整体架构包括自适应亲和图块（AAG）和身体形状鉴别器（BSD）。AAG作为主要模块，负责生成全局亲和图，而BSD则关注高频细节的提取，指导光流生成器（FG）进行更精细的调整。

关键创新：最重要的技术创新在于自适应亲和图块（AAG）的设计，它通过完全连接图来捕捉身体部位间的亲和性，显著提升了重塑效果的一致性和质量。与现有方法相比，AAGN更注重全局信息的整合。

关键设计：在关键设计方面，AAG模块利用了完全连接图的特性，BSD则结合高频细节和空间特征，采用SRM滤波器提取高频信息，确保生成的光流不仅仅是像素级的拟合，而是关注细节的美学效果。

📊 实验亮点

在BR-5K数据集上的实验结果显示，提出的AAGN框架在所有评估指标上均超越了现有方法，特别是在美学吸引力方面，提升幅度显著，达到了最先进水平，证明了其有效性和优越性。

🎯 应用场景

该研究在时尚、游戏和影视特效等领域具有广泛的应用潜力。通过自动化的人体重塑技术，可以为用户提供个性化的形象设计和美化服务，提升视觉效果和用户体验。未来，该技术可能在增强现实（AR）和虚拟现实（VR）中发挥重要作用。

📄 摘要（原文）

Given a source portrait, the automatic human body reshaping task aims at editing it to an aesthetic body shape. As the technology has been widely used in media, several methods have been proposed mainly focusing on generating optical flow to warp the body shape. However, those previous works only consider the local transformation of different body parts (arms, torso, and legs), ignoring the global affinity, and limiting the capacity to ensure consistency and quality across the entire body. In this paper, we propose a novel Adaptive Affinity-Graph Network (AAGN), which extracts the global affinity between different body parts to enhance the quality of the generated optical flow. Specifically, our AAGN primarily introduces the following designs: (1) we propose an Adaptive Affinity-Graph (AAG) Block that leverages the characteristic of a fully connected graph. AAG represents different body parts as nodes in an adaptive fully connected graph and captures all the affinities between nodes to obtain a global affinity map. The design could better improve the consistency between body parts. (2) Besides, for high-frequency details are crucial for photo aesthetics, a Body Shape Discriminator (BSD) is designed to extract information from both high-frequency and spatial domain. Particularly, an SRM filter is utilized to extract high-frequency details, which are combined with spatial features as input to the BSD. With this design, BSD guides the Flow Generator (FG) to pay attention to various fine details rather than rigid pixel-level fitting. Extensive experiments conducted on the BR-5K dataset demonstrate that our framework significantly enhances the aesthetic appeal of reshaped photos, surpassing all previous work to achieve state-of-the-art in all evaluation metrics.