LayoutPrompter: Awaken the Design Ability of Large Language Models
作者: Jiawei Lin, Jiaqi Guo, Shizhao Sun, Zijiang James Yang, Jian-Guang Lou, Dongmei Zhang
分类: cs.CV
发布日期: 2023-11-11
备注: NeurIPS 2023
🔗 代码/项目: GITHUB
💡 一句话要点
提出LayoutPrompter以解决条件图形布局生成的多样性与数据效率问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 条件图形布局 大型语言模型 上下文学习 动态示例选择 布局排序 数据效率 无训练生成
📋 核心要点
- 现有条件图形布局生成方法缺乏多样性和数据效率，限制了其实际应用。
- LayoutPrompter通过输入输出序列化、动态示例选择和布局排序，利用大型语言模型实现高效布局生成。
- 实验结果显示，LayoutPrompter在多个布局生成任务中表现优异，超越了训练基线，尤其在低数据环境下表现突出。
📝 摘要（中文）
条件图形布局生成，即自动将用户约束映射为高质量布局，近年来受到广泛关注。尽管现有方法在性能上取得了一定进展，但缺乏多样性和数据效率限制了其实际应用。本文提出LayoutPrompter，利用大型语言模型（LLMs）通过上下文学习来解决上述问题。LayoutPrompter由三个关键组件组成：输入输出序列化、动态示例选择和布局排序。实验结果表明，LayoutPrompter在所有现有布局生成任务中表现出色，甚至在某些任务上超越了最先进的方法，且无需任何模型训练或微调，显示出其有效性和数据效率。项目代码可在https://github.com/microsoft/LayoutGeneration/tree/main/LayoutPrompter获取。
🔬 方法详解
问题定义：本文旨在解决条件图形布局生成中的多样性不足和数据效率低的问题。现有方法往往依赖大量标注数据进行训练，导致在数据稀缺情况下性能下降。
核心思路：LayoutPrompter的核心思路是利用大型语言模型的上下文学习能力，通过精心设计的输入输出格式和动态选择示例，提升布局生成的质量和效率。
技术框架：LayoutPrompter的整体架构包括三个主要模块：输入输出序列化模块负责设计布局生成任务的输入输出格式；动态示例选择模块根据输入选择最有帮助的示例；布局排序模块从多个LLM输出中选取最高质量的布局。
关键创新：LayoutPrompter的创新在于其无需模型训练或微调，直接利用LLM进行布局生成，显著提高了数据效率和生成质量。这一方法与传统的训练依赖方法本质上不同。
关键设计：在设计中，输入输出序列化模块确保输入格式的规范化，动态示例选择模块通过评估示例的相关性来优化选择，布局排序模块则采用简单有效的排序算法来确保输出的质量。
🖼️ 关键图片
📊 实验亮点
实验结果表明，LayoutPrompter在所有现有布局生成任务中均表现出色，能够与最先进的方法相媲美，甚至在某些任务上超越它们。在低数据环境下，LayoutPrompter的性能显著优于训练基线，展示了其卓越的数据效率。
🎯 应用场景
LayoutPrompter在图形设计、用户界面布局、广告设计等领域具有广泛的应用潜力。其高效的布局生成能力能够帮助设计师快速实现创意，降低设计成本，并在数据稀缺的情况下仍能保持高质量输出，推动相关行业的创新与发展。
📄 摘要（原文）
Conditional graphic layout generation, which automatically maps user constraints to high-quality layouts, has attracted widespread attention today. Although recent works have achieved promising performance, the lack of versatility and data efficiency hinders their practical applications. In this work, we propose LayoutPrompter, which leverages large language models (LLMs) to address the above problems through in-context learning. LayoutPrompter is made up of three key components, namely input-output serialization, dynamic exemplar selection and layout ranking. Specifically, the input-output serialization component meticulously designs the input and output formats for each layout generation task. Dynamic exemplar selection is responsible for selecting the most helpful prompting exemplars for a given input. And a layout ranker is used to pick the highest quality layout from multiple outputs of LLMs. We conduct experiments on all existing layout generation tasks using four public datasets. Despite the simplicity of our approach, experimental results show that LayoutPrompter can compete with or even outperform state-of-the-art approaches on these tasks without any model training or fine-tuning. This demonstrates the effectiveness of this versatile and training-free approach. In addition, the ablation studies show that LayoutPrompter is significantly superior to the training-based baseline in a low-data regime, further indicating the data efficiency of LayoutPrompter. Our project is available at https://github.com/microsoft/LayoutGeneration/tree/main/LayoutPrompter.