SSP: A Simple and Safe automatic Prompt engineering method towards realistic image synthesis on LVM

📄 arXiv: 2401.01128v1 📥 PDF

作者: Weijin Cheng, Jianzhi Liu, Jiawen Deng, Fuji Ren

分类: cs.CV

发布日期: 2024-01-02

备注: 10 pages, 8 figures

期刊: 2024 IEEE International Conference on Systems, Man, and Cybernetics (SMC)

DOI: 10.1109/SMC54092.2024.10832083

💡 一句话要点

提出SSP方法以提升图像合成的安全性与质量

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本到图像合成 安全性提升 相机描述 提示工程 生成模型

📋 核心要点

  1. 现有的文本到图像合成方法虽然提高了生成质量，但往往引入了安全隐患，亟需改进。
  2. 本文提出了一种简单安全的提示工程方法（SSP），通过添加最佳相机描述来提升图像生成的安全性和质量。
  3. 实验结果显示，SSP在语义一致性上提升了16%，在安全性指标上提升了48.9%，显著优于其他方法。

📝 摘要（中文）

近年来，文本到图像（T2I）合成技术取得了显著进展，尤其是在大型语言模型（LLM）和大型视觉模型（LVM）的推动下，传统T2I模型的指令遵循能力得到了极大增强。然而，现有方法虽然提升了生成质量，却在提示中引入了不安全因素。本文探讨了在提示中添加特定相机描述以增强安全性的可能性，并提出了一种简单且安全的提示工程方法（SSP），通过提供最佳相机描述来改善图像生成质量。我们创建了一个多数据集的原始提示数据集，并设计了一个最佳相机匹配方法，实施了一个能够自动匹配原始提示的分类器。实验结果表明，SSP在语义一致性上平均提升了16%，在安全性指标上提升了48.9%。

🔬 方法详解

问题定义：本文旨在解决现有文本到图像合成方法在提升生成质量的同时引入的安全隐患。现有方法往往忽视了提示的安全性，导致生成结果可能不符合预期或存在风险。

核心思路：论文的核心思路是通过在原始提示中添加特定的相机描述来增强生成图像的安全性和质量。通过这种方式，能够有效地引导模型生成更符合安全标准的图像。

技术框架：整体架构包括数据集构建、相机匹配方法设计和分类器实现三个主要模块。首先，从多个数据集中创建原始提示数据集；其次，设计最佳相机匹配方法以选择合适的相机描述；最后，利用分类器自动匹配原始提示并生成优化后的提示。

关键创新：最重要的技术创新点在于提出了将相机描述与原始提示结合的策略，显著提升了生成图像的安全性和语义一致性。这一方法与现有的单纯优化生成质量的方法本质上不同，强调了安全性的重要性。

关键设计：在设计过程中，关键参数包括相机描述的选择标准和分类器的训练策略。损失函数的设计也考虑了生成图像的安全性和质量，确保生成结果符合预期。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SSP方法在语义一致性上平均提升了16%，在安全性指标上提升了48.9%。与其他方法相比，SSP在安全性和生成质量方面均表现出显著的优势，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括安全敏感的图像生成任务，如医疗影像、自动驾驶视觉系统和社交媒体内容生成等。通过提升生成图像的安全性和质量，SSP方法能够为这些领域提供更可靠的解决方案，减少不当生成内容的风险，具有重要的实际价值和未来影响。

📄 摘要（原文）

Recently, text-to-image (T2I) synthesis has undergone significant advancements, particularly with the emergence of Large Language Models (LLM) and their enhancement in Large Vision Models (LVM), greatly enhancing the instruction-following capabilities of traditional T2I models. Nevertheless, previous methods focus on improving generation quality but introduce unsafe factors into prompts. We explore that appending specific camera descriptions to prompts can enhance safety performance. Consequently, we propose a simple and safe prompt engineering method (SSP) to improve image generation quality by providing optimal camera descriptions. Specifically, we create a dataset from multi-datasets as original prompts. To select the optimal camera, we design an optimal camera matching approach and implement a classifier for original prompts capable of automatically matching. Appending camera descriptions to original prompts generates optimized prompts for further LVM image generation. Experiments demonstrate that SSP improves semantic consistency by an average of 16% compared to others and safety metrics by 48.9%.