PIXAR: Auto-Regressive Language Modeling in Pixel Space

📄 arXiv: 2401.03321v2 📥 PDF

作者: Yintao Tai, Xiyang Liao, Alessandro Suglia, Antonio Vergari

分类: cs.CL

发布日期: 2024-01-06 (更新: 2024-02-23)

💡 一句话要点

提出PIXAR以解决像素空间文本生成问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 像素空间 自回归模型 文本生成 对抗性预训练 开放词汇 计算机视觉 自然语言处理

📋 核心要点

  1. 现有的基于像素的语言模型仅限于判别任务，无法进行文本生成，限制了其应用范围。
  2. PIXAR通过仅使用解码器的设计，实现了自回归文本生成，克服了现有模型的局限性。
  3. 实验结果显示，PIXAR在LAMBADA和bAbI数据集上的性能分别提高了8.1和8.5，接近GPT-2的水平。

📝 摘要（中文）

近期研究表明，可以构建直接在像素表示上操作的开放词汇大型语言模型（LLMs）。这些模型作为自编码器实现，重建渲染文本的掩码补丁。然而，这些基于像素的LLMs仅限于判别任务，无法用于生成任务。本文提出PIXAR，这是首个基于像素的自回归LLM，能够执行文本生成。PIXAR仅由解码器组成，能够进行自由形式的生成任务，同时参数数量与之前的编码-解码模型相当。此外，本文强调生成文本作为非噪声图像的挑战，并提出对抗性预训练阶段，提升PIXAR在LAMBADA和bAbI上的可读性和准确性，分别提高8.1和8.5，使其在文本生成任务上与GPT-2相当。这为构建仅基于感知输入的开放词汇LLMs铺平了道路，并质疑了传统符号输入表示的必要性。

🔬 方法详解

问题定义：本文旨在解决现有基于像素的语言模型无法进行文本生成的问题。现有模型如BERT仅适用于判别任务，无法满足生成任务的需求。

核心思路：PIXAR的核心思路是构建一个仅由解码器组成的自回归模型，使其能够执行自由形式的文本生成任务。这种设计使得模型在生成任务中表现出色，同时保持参数数量的合理性。

技术框架：PIXAR的整体架构包括一个解码器模块，采用自回归方式生成文本。模型首先经过对抗性预训练，以提高生成文本的可读性和准确性。

关键创新：PIXAR的主要创新在于其能够在像素空间中进行自回归文本生成，打破了传统模型对符号输入的依赖。这一创新使得模型能够直接处理视觉信息，拓展了语言模型的应用场景。

关键设计：在模型设计中，采用了对抗性预训练阶段，以优化生成文本的质量。此外，损失函数的选择也经过精心设计，以确保生成结果的准确性和可读性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PIXAR在LAMBADA和bAbI数据集上的性能分别提高了8.1和8.5，显示出其在文本生成任务上的强大能力。这使得PIXAR的性能与GPT-2相当，标志着在像素空间进行文本生成的成功。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、计算机视觉和人机交互等。PIXAR能够在无需传统文本输入的情况下，直接处理图像信息进行文本生成，具有广泛的实际价值。未来，PIXAR可能推动开放词汇LLMs的发展，改变我们对语言模型的理解和应用方式。

📄 摘要（原文）

Recent work showed the possibility of building open-vocabulary large language models (LLMs) that directly operate on pixel representations. These models are implemented as autoencoders that reconstruct masked patches of rendered text. However, these pixel-based LLMs are limited to discriminative tasks (e.g., classification) and, similar to BERT, cannot be used to generate text. Therefore, they cannot be used for generative tasks such as free-form question answering. In this work, we introduce PIXAR, the first pixel-based autoregressive LLM that performs text generation. Consisting of only a decoder, PIXAR can perform free-form generative tasks while keeping the number of parameters on par with previous encoder-decoder models. Furthermore, we highlight the challenges of generating text as non-noisy images and show this is due to using a maximum likelihood objective. To overcome this problem, we propose an adversarial pretraining stage that improves the readability and accuracy of PIXAR by 8.1 on LAMBADA and 8.5 on bAbI -- making it comparable to GPT-2 on text generation tasks. This paves the way to build open-vocabulary LLMs that operate on perceptual input only and calls into question the necessity of the usual symbolic input representation, i.e., text as (sub)tokens.