Graph Transformer GANs with Graph Masked Modeling for Architectural Layout Generation

📄 arXiv: 2401.07721v1 📥 PDF

作者: Hao Tang, Ling Shao, Nicu Sebe, Luc Van Gool

分类: cs.CV

发布日期: 2024-01-15

备注: Accepted to TPAMI, an extended version of a paper published in CVPR2023. arXiv admin note: substantial text overlap with arXiv:2303.08225

💡 一句话要点

提出图变换器GAN以解决建筑布局生成问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting)

关键词: 图变换器 生成对抗网络 建筑布局生成 图卷积 自注意力机制 节点分类 循环一致性损失 图表示学习

📋 核心要点

  1. 现有建筑布局生成方法在处理复杂图约束时存在局限，难以有效捕捉节点间的关系。
  2. 论文提出的GTGAN通过结合图卷积和自注意力机制，能够同时建模局部和全局节点交互，提升生成效果。
  3. 在三个公共数据集上的实验表明，该方法在生成质量上超越了现有技术，建立了新的最先进结果。

📝 摘要（中文）

本文提出了一种新颖的图变换器生成对抗网络（GTGAN），旨在以端到端的方式学习有效的图节点关系，以应对具有挑战性的图约束建筑布局生成任务。所提出的基于图变换器的生成器包括一个新颖的图变换器编码器，结合了图卷积和自注意力机制，以建模连接和非连接图节点之间的局部和全局交互。通过引入连接节点注意力（CNA）和非连接节点注意力（NNA），分别捕捉输入图中连接节点和非连接节点之间的全局关系。此外，提出了一种基于节点分类的判别器，以保留不同房屋组件的高层语义和判别节点特征。实验结果表明，该方法在三个建筑布局生成任务上取得了显著的效果提升。

🔬 方法详解

问题定义：本文旨在解决建筑布局生成中的图约束问题，现有方法在捕捉节点间复杂关系时表现不足，导致生成结果的局限性。

核心思路：GTGAN通过引入图变换器编码器，结合图卷积和自注意力机制，能够有效建模连接和非连接节点的全局和局部交互，从而提升生成效果。

技术框架：整体架构包括图变换器编码器、图建模块（GMB）和基于节点分类的判别器。编码器负责提取节点特征，GMB则关注局部交互，判别器用于评估生成结果的语义一致性。

关键创新：引入连接节点注意力（CNA）和非连接节点注意力（NNA）是本研究的核心创新，能够分别捕捉不同类型节点间的全局关系，与传统方法相比，显著增强了模型的表达能力。

关键设计：采用图基循环一致性损失以保持真实图与生成图之间的空间关系，同时引入自指导预训练方法，通过高达40%的节点和边的同时掩蔽，利用不对称图中心自编码器进行重建，显著提升了模型的学习效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在三个建筑布局生成任务（房屋布局、屋顶生成和建筑布局生成）上，GTGAN在多个公共数据集上取得了显著的性能提升，建立了新的最先进结果，提升幅度超过了现有方法的基线，展示了其在生成质量和视觉真实感上的优势。

🎯 应用场景

该研究在建筑设计、城市规划等领域具有广泛的应用潜力。通过生成高质量的建筑布局，能够辅助设计师快速构思和优化设计方案，提升设计效率。此外，该方法的创新性也为其他图结构数据生成任务提供了新的思路和方法论。

📄 摘要（原文）

We present a novel graph Transformer generative adversarial network (GTGAN) to learn effective graph node relations in an end-to-end fashion for challenging graph-constrained architectural layout generation tasks. The proposed graph-Transformer-based generator includes a novel graph Transformer encoder that combines graph convolutions and self-attentions in a Transformer to model both local and global interactions across connected and non-connected graph nodes. Specifically, the proposed connected node attention (CNA) and non-connected node attention (NNA) aim to capture the global relations across connected nodes and non-connected nodes in the input graph, respectively. The proposed graph modeling block (GMB) aims to exploit local vertex interactions based on a house layout topology. Moreover, we propose a new node classification-based discriminator to preserve the high-level semantic and discriminative node features for different house components. To maintain the relative spatial relationships between ground truth and predicted graphs, we also propose a novel graph-based cycle-consistency loss. Finally, we propose a novel self-guided pre-training method for graph representation learning. This approach involves simultaneous masking of nodes and edges at an elevated mask ratio (i.e., 40%) and their subsequent reconstruction using an asymmetric graph-centric autoencoder architecture. This method markedly improves the model's learning proficiency and expediency. Experiments on three challenging graph-constrained architectural layout generation tasks (i.e., house layout generation, house roof generation, and building layout generation) with three public datasets demonstrate the effectiveness of the proposed method in terms of objective quantitative scores and subjective visual realism. New state-of-the-art results are established by large margins on these three tasks.