Multimodal Large Language Model is a Human-Aligned Annotator for Text-to-Image Generation

📄 arXiv: 2404.15100v1 📥 PDF

作者: Xun Wu, Shaohan Huang, Furu Wei

分类: cs.CV, cs.MM

发布日期: 2024-04-23

💡 一句话要点

提出VisionPrefer以解决人类偏好数据不足问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大型语言模型 文本到图像生成 人类偏好数据 生成模型 奖励模型 指令调优 AI注释者

📋 核心要点

  1. 现有的人类偏好数据集构建成本高且缺乏多样性，限制了其在文本到图像生成模型中的应用。
  2. 本文提出利用多模态大型语言模型创建VisionPrefer数据集，聚合AI注释者的反馈以捕捉多维度偏好。
  3. 实验结果显示，VisionPrefer在图像生成任务中显著提升了文本与图像的对齐效果，且泛化能力优于以往的偏好度量标准。

📝 摘要（中文）

近期研究表明，利用人类偏好数据集来优化文本到图像生成模型具有显著潜力，能够增强生成图像与文本提示之间的对齐。然而，现有的人类偏好数据集构建成本高昂或缺乏多样性，限制了其在开源文本到图像生成模型中的应用。为了解决这些挑战并促进生成模型的指令调优，本文利用多模态大型语言模型创建了VisionPrefer，一个高质量且细致的偏好数据集，涵盖多个偏好方面。通过聚合AI注释者在提示遵循、美学、保真度和无害性等四个方面的反馈，构建了VisionPrefer。实验结果表明，VisionPrefer显著提升了文本与图像的对齐效果，并在多种图像分布中表现出更好的泛化能力。

🔬 方法详解

问题定义：本文旨在解决现有文本到图像生成模型中人类偏好数据集的构建成本高和多样性不足的问题，这限制了模型的指令调优和应用。

核心思路：通过利用多模态大型语言模型，创建VisionPrefer数据集，聚合AI注释者在多个偏好维度上的反馈，以实现更高质量的偏好数据集。

技术框架：整体架构包括数据集构建、反馈聚合和奖励模型训练三个主要模块。首先，收集AI注释者的反馈，然后构建VP-Score奖励模型以指导生成模型的训练。

关键创新：VisionPrefer的创建是本文的核心创新点，通过AI生成的合成数据作为监督信号，显著提升了生成模型与人类偏好的对齐程度。

关键设计：在设计中，聚合了四个偏好维度的反馈，并使用VP-Score作为奖励模型，其偏好预测准确性与人类注释者相当，采用了强化学习方法对生成模型进行监督微调。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用VisionPrefer进行训练的生成模型在文本与图像的对齐效果上显著优于以往的基线，尤其在美学和保真度方面的提升幅度达到了X%（具体数据未知）。此外，VP-Score的偏好预测准确性与人类注释者相当，展示了其有效性。

🎯 应用场景

该研究的潜在应用领域包括文本到图像生成、计算机视觉和人机交互等。通过提供高质量的偏好数据集，VisionPrefer可以帮助改进生成模型的性能，使其更好地满足用户需求，具有重要的实际价值和未来影响。

📄 摘要（原文）

Recent studies have demonstrated the exceptional potentials of leveraging human preference datasets to refine text-to-image generative models, enhancing the alignment between generated images and textual prompts. Despite these advances, current human preference datasets are either prohibitively expensive to construct or suffer from a lack of diversity in preference dimensions, resulting in limited applicability for instruction tuning in open-source text-to-image generative models and hinder further exploration. To address these challenges and promote the alignment of generative models through instruction tuning, we leverage multimodal large language models to create VisionPrefer, a high-quality and fine-grained preference dataset that captures multiple preference aspects. We aggregate feedback from AI annotators across four aspects: prompt-following, aesthetic, fidelity, and harmlessness to construct VisionPrefer. To validate the effectiveness of VisionPrefer, we train a reward model VP-Score over VisionPrefer to guide the training of text-to-image generative models and the preference prediction accuracy of VP-Score is comparable to human annotators. Furthermore, we use two reinforcement learning methods to supervised fine-tune generative models to evaluate the performance of VisionPrefer, and extensive experimental results demonstrate that VisionPrefer significantly improves text-image alignment in compositional image generation across diverse aspects, e.g., aesthetic, and generalizes better than previous human-preference metrics across various image distributions. Moreover, VisionPrefer indicates that the integration of AI-generated synthetic data as a supervisory signal is a promising avenue for achieving improved alignment with human preferences in vision generative models.