Giraffe: A Mapping Architecture from Hidden Text Representations to Visual Embeddings for Efficient Graphic Design

📄 arXiv: 2608.23970v1 📥 PDF

作者: Nejla Ghaboosi

分类: cs.AI, cs.LG

发布日期: 2026-08-25

💡 一句话要点

提出Giraffe架构以解决多模态生成中的输入长度限制问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态生成 图形设计 视觉嵌入 隐藏表示 深度学习 机器学习 图像生成

📋 核心要点

  1. 现有方法在多模态生成中使用多个专用标记表示图像，导致输入长度过长，影响生成效率。
  2. 本文提出Giraffe架构，通过单个[IMG]标记将隐藏表示映射到视觉模型的嵌入空间，简化输入结构。
  3. 实验结果表明，Giraffe在图像到设计和文本到设计生成任务中表现优异，显著提升了生成效率。

📝 摘要（中文）

多模态大型语言模型（MLLMs）在理解和解释多媒体内容方面取得了显著进展，但在生成媒体方面仍然有限。近期研究尝试通过将隐藏表示映射到视觉模型的嵌入空间来弥补这一差距。然而，现有方法通常使用多个专用标记表示每个图像，显著增加了输入长度，限制了图形设计生成等任务的效率。为此，本文提出了一种新颖的架构，通过单个[IMG]标记将隐藏标记表示映射到视觉模型的嵌入空间，采用两个浅层MLP模块，结合六种不同的损失函数进行训练，展示了在图像到设计和文本到设计生成任务中的强大性能。

🔬 方法详解

问题定义：本文旨在解决多模态生成任务中输入长度过长的问题，现有方法通过多个专用标记表示图像，导致生成效率低下。

核心思路：Giraffe架构通过使用单个[IMG]标记来表示每个图像，从而简化输入，提升生成效率。该架构利用两个浅层MLP模块进行隐藏表示到视觉模型嵌入空间的映射。

技术框架：整体架构包括两个浅层MLP模块，每个模块包含独立的压缩模块和共享的扩展模块。训练过程中使用六种不同的损失函数，两个模块相互辅助，推理时省略一个模块。

关键创新：Giraffe的主要创新在于使用单个[IMG]标记表示图像，显著减少了输入长度，与现有方法相比，提升了生成效率和灵活性。

关键设计：架构中使用的两个MLP模块分别负责压缩和扩展，训练时采用六种损失函数以优化性能，确保在推理时的轻量化设计。每个模块的设计旨在提高模型的生成能力和效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Giraffe在图像到设计和文本到设计生成任务中表现出色，相较于基线方法，生成效率提升了显著的百分比，证明了其在多模态生成中的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括图形设计、广告创作和多媒体内容生成等。通过提升多模态生成的效率，Giraffe架构能够为设计师提供更快速的创作工具，推动创意产业的发展，未来可能在自动化设计和个性化内容生成中发挥重要作用。

📄 摘要（原文）

Multimodal large language models (MLLMs) have made significant progress in understanding and interpreting mul- timedia content. However, their ability to generate me- dia remains limited. Recent approaches have attempted to bridge this gap by translating the hidden representations of token sequences into the embedding space of visual models or directly into raw image data. However, these methods often represent each image using multiple specialised to- kens which significantly increases the input length. This be- comes a major limitation for tasks such as graphic design generation where the output typically involves a seamless blend of thousands of tokens across text, multiple images, and layout information. To address this challenge, a novel architecture is proposed that maps hidden token represen- tations to the embedding space of visual models, such as CLIP ViT-L/14, using a single [IMG] token per image. The architecture employs two shallow MLP blocks, each with a separate compression module followed by a shared expan- sion module, trained with six distinct loss functions. One block aids the other during training and is omitted during inference, resulting in a lightweight solution. Strong perfor- mance is demonstrated in both image-to-design and text-to- design generation tasks.