HQ-Edit: A High-Quality Dataset for Instruction-based Image Editing

📄 arXiv: 2404.09990v1 📥 PDF

作者: Mude Hui, Siwei Yang, Bingchen Zhao, Yichun Shi, Heng Wang, Peng Wang, Yuyin Zhou, Cihang Xie

分类: cs.CV, cs.AI

发布日期: 2024-04-15

备注: Project Page: https://thefllood.github.io/HQEdit_web

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出HQ-Edit以解决高质量指令基础图像编辑数据集构建问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图像编辑 数据集构建 深度学习 生成模型 自动化数据收集

📋 核心要点

  1. 现有图像编辑数据集构建方法多依赖于人工反馈或属性指导，导致数据质量和多样性不足。
  2. 本研究提出HQ-Edit数据集，通过先进的基础模型自动化收集和生成高质量图像编辑对，确保数据集的丰富性和准确性。
  3. 实验结果表明，基于HQ-Edit微调的InstructPix2Pix模型在图像编辑性能上达到了最先进水平，甚至超越了使用人类标注数据微调的模型。

📝 摘要（中文）

本研究介绍了HQ-Edit，一个高质量的指令基础图像编辑数据集，包含约200,000个编辑实例。与以往依赖属性指导或人类反馈构建数据集的方法不同，我们设计了一种可扩展的数据收集管道，利用先进的基础模型，如GPT-4V和DALL-E 3。为确保数据集的高质量，首先在线收集多样化的示例，然后创建包含输入和输出图像的高质量双联图，并通过后处理确保精确对齐。此外，我们提出了两个评估指标，Alignment和Coherence，用于定量评估图像编辑对的质量。HQ-Edit的高分辨率图像和详尽的编辑提示显著提升了现有图像编辑模型的能力。

🔬 方法详解

问题定义：本研究旨在解决现有图像编辑数据集构建过程中数据质量和多样性不足的问题。以往方法依赖人工反馈，效率低且难以扩展。

核心思路：我们设计了一种可扩展的数据收集管道，利用GPT-4V和DALL-E 3等先进基础模型，自动化生成高质量的图像编辑对，确保数据集的丰富性和准确性。

技术框架：整体流程包括在线收集多样化示例、生成高质量双联图、后处理确保图像对齐，以及使用GPT-4V进行质量评估。主要模块包括数据收集、图像生成和质量评估。

关键创新：最重要的技术创新在于利用先进的基础模型进行数据集构建，显著提高了数据集的质量和规模，与传统依赖人工标注的方法形成鲜明对比。

关键设计：在数据收集过程中，我们设置了多样化的示例来源，并通过后处理技术确保输入与输出图像的精确对齐。评估指标Alignment和Coherence用于量化图像编辑对的质量。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果显示，基于HQ-Edit微调的InstructPix2Pix模型在图像编辑任务中达到了最先进的性能，超越了使用人类标注数据微调的模型，展现出显著的提升幅度，具体性能数据未提供。

🎯 应用场景

HQ-Edit数据集的构建为图像编辑领域提供了高质量的训练数据，能够显著提升现有图像编辑模型的性能。该研究的成果可广泛应用于图像生成、增强现实、虚拟现实等多个领域，推动相关技术的发展与应用。

📄 摘要（原文）

This study introduces HQ-Edit, a high-quality instruction-based image editing dataset with around 200,000 edits. Unlike prior approaches relying on attribute guidance or human feedback on building datasets, we devise a scalable data collection pipeline leveraging advanced foundation models, namely GPT-4V and DALL-E 3. To ensure its high quality, diverse examples are first collected online, expanded, and then used to create high-quality diptychs featuring input and output images with detailed text prompts, followed by precise alignment ensured through post-processing. In addition, we propose two evaluation metrics, Alignment and Coherence, to quantitatively assess the quality of image edit pairs using GPT-4V. HQ-Edits high-resolution images, rich in detail and accompanied by comprehensive editing prompts, substantially enhance the capabilities of existing image editing models. For example, an HQ-Edit finetuned InstructPix2Pix can attain state-of-the-art image editing performance, even surpassing those models fine-tuned with human-annotated data. The project page is https://thefllood.github.io/HQEdit_web.