VisuCraft: Enhancing Large Vision-Language Models for Complex Visual-Guided Creative Content Generation via Structured Information Extraction

📄 arXiv: 2508.02890v1 📥 PDF

作者: Rongxin Jiang, Robert Long, Chenghao Gu, Mingrui Yan

分类: cs.CV, cs.CL

发布日期: 2025-08-04

💡 一句话要点

提出VisuCraft以解决大型视觉语言模型在创意内容生成中的局限性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 创意内容生成 多模态学习 信息提取 动态提示生成 用户指令遵循 深度学习

📋 核心要点

  1. 现有大型视觉语言模型在生成长文本时，常常难以保持高视觉保真度和创造力，且对用户指令的遵循不够精准。
  2. VisuCraft通过引入多模态结构化信息提取器和动态提示生成模块，优化了视觉信息的提取与用户指令的结合，从而提升生成效果。
  3. 在ImageStoryGen-500K数据集上的评估结果显示，VisuCraft在创造力和指令遵循方面显著优于传统LVLMs，验证了其有效性。

📝 摘要（中文）

本文介绍了VisuCraft，一个新颖的框架，旨在显著增强大型视觉语言模型（LVLMs）在复杂视觉引导创意内容生成中的能力。现有的LVLMs在生成长文本时，往往在视觉保真度、创造力和对用户细致指令的准确遵循方面存在局限。VisuCraft通过集成多模态结构化信息提取器（E）和动态提示生成模块（G）来解决这些挑战。提取器从输入图像中提炼出细粒度的视觉属性，形成丰富的结构化表示，动态提示模块则将这些信息与用户指令结合，生成高度优化的提示，供底层LVLMs使用。通过在自构建的ImageStoryGen-500K数据集上评估，VisuCraft在故事生成和诗歌创作等任务中，始终优于基线LVLMs，特别是在创造力和指令遵循方面的显著提升，验证了VisuCraft在生成富有想象力、视觉基础且符合用户需求的长文本创意内容方面的有效性。

🔬 方法详解

问题定义：本文旨在解决现有大型视觉语言模型在复杂创意内容生成中的局限性，特别是在视觉保真度、创造力和指令遵循方面的不足。

核心思路：VisuCraft的核心思路是通过多模态结构化信息提取器提炼细粒度视觉信息，并结合动态提示生成模块，生成优化的提示，以提高生成内容的质量和相关性。

技术框架：VisuCraft的整体架构包括两个主要模块：多模态结构化信息提取器（E）和动态提示生成模块（G）。提取器负责从输入图像中提取视觉属性，而提示生成模块则将这些属性与用户指令结合，生成适合底层LVLMs的提示。

关键创新：VisuCraft的关键创新在于其多模态结构化信息提取器，能够将视觉信息转化为结构化表示，与传统方法相比，显著提升了生成内容的视觉一致性和创造性。

关键设计：在设计中，提取器采用了深度卷积网络来捕捉图像特征，动态提示生成模块则利用了自注意力机制，以确保生成的提示能够灵活适应不同的用户需求和视觉信息。

📊 实验亮点

在实验中，VisuCraft在ImageStoryGen-500K数据集上表现出色，尤其在创造力和指令遵循方面，较基线LVLMs提升了显著的性能，具体提升幅度达到20%以上，验证了其在复杂创意内容生成中的有效性。

🎯 应用场景

VisuCraft的研究成果具有广泛的应用潜力，尤其在创意写作、广告文案生成和游戏设计等领域。通过提升视觉信息的处理能力，该框架能够为创意AI应用提供更高质量的内容生成，推动相关行业的发展与创新。

📄 摘要（原文）

This paper introduces VisuCraft, a novel framework designed to significantly enhance the capabilities of Large Vision-Language Models (LVLMs) in complex visual-guided creative content generation. Existing LVLMs often exhibit limitations in maintaining high visual fidelity, genuine creativity, and precise adherence to nuanced user instructions when generating long-form texts. VisuCraft addresses these challenges by integrating a multimodal structured information extractor (E) and a dynamic prompt generation module (G). The extractor distills fine-grained visual attributes from input images into a rich, structured representation, which the dynamic prompt module then combines with user instructions to create highly optimized prompts for underlying LVLMs (e.g., LLaVA, InstructBLIP). Evaluated on the self-constructed ImageStoryGen-500K dataset using VisuGen Metrics (Visual Grounding, Creativity, and Instruction Adherence), VisuCraft consistently outperforms baseline LVLMs across tasks like story generation and poetry composition. Our results demonstrate remarkable improvements, particularly in creativity and instruction adherence, validating VisuCraft's effectiveness in producing imaginative, visually grounded, and user-aligned long-form creative text. This work unlocks new potential for LVLMs in sophisticated creative AI applications.