PixelBench: Can LLMs Understand and Generate Images Pixel by Pixel?

📄 arXiv: 2611.02540v1 📥 PDF

作者: Haoquan Zhang, Feiyang Liu, Juanxi Tian, Wanhua Li, Haodong Duan, Weiyang Liu

分类: cs.CV, cs.CL, cs.LG

发布日期: 2026-11-02

备注: Technical report, 38 pages, 7 figures. Project page: https://haoquanzhang.github.io/pixel-bench

💡 一句话要点

提出PixelBench以评估LLMs在像素生成中的能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 像素生成 图像理解 多模态生成 视觉基准 像素重建调优 计算机视觉

📋 核心要点

  1. 现有方法主要依赖高层次的符号表示，无法直接生成像素图像，限制了LLMs的应用。
  2. 论文提出PixelBench基准，评估LLMs在文本到像素和图像到像素生成中的能力，探索直接生成像素图像的可能性。
  3. 实验结果表明，最强模型在T2P和I2P任务中表现优异，且像素理解与生成性能高度相关，PRT方法显著提升了模型性能。

📝 摘要（中文）

大型语言模型（LLMs）可以通过文本格式生成视觉资产，但这些符号表示使用高层次原语而非显式光栅值。本文探讨LLMs能否直接生成像素图像，提出了PixelBench基准，涵盖文本到像素（T2P）和图像到像素（I2P）生成。模型生成RGB调色板及每个输出像素的调色板颜色索引。在T2P中，最强模型能直接从文本生成可识别的图像；在I2P中，最强模型在低分辨率下超越了调色板匹配下采样和专门的像素化算法。像素理解性能与生成性能高度相关，分辨率缩放研究显示生成性能在高分辨率下通常先提升后下降。最后，提出像素重建调优（PRT），通过混合一般指令数据与PRT数据对Molmo2-4B进行后训练，提升了16个视觉中心基准的性能。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在生成像素图像时的局限性，现有方法依赖于高层次符号表示，无法直接处理光栅图像生成的问题。

核心思路：通过引入PixelBench基准，探索LLMs是否能够直接生成像素图像，而无需学习的图像标记器或解码器，利用现有词汇生成RGB调色板和像素索引。

技术框架：整体流程包括生成RGB调色板，随后生成一个指定每个输出像素颜色的索引网格。该框架分为文本到像素（T2P）和图像到像素（I2P）两个主要模块。

关键创新：最重要的创新在于直接生成像素图像的能力，模型在T2P和I2P任务中表现超越传统的下采样和像素化算法，且引入的PRT方法为模型提供了有效的辅助监督。

关键设计：在模型训练中，采用了RGB调色板生成和像素索引生成的双重任务设计，损失函数结合了生成质量与像素理解的评估，确保模型在生成和理解两个方面均有良好表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，最强模型在T2P任务中生成的图像可识别性显著提高，I2P任务中在低分辨率下超越了传统算法，且通过PRT方法后训练，模型在16个视觉中心基准上性能提升明显，验证了像素重建的有效性。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、图像生成、游戏设计及虚拟现实等。通过直接生成像素图像，LLMs可以在创作和设计中提供更高效的工具，推动多模态生成技术的发展，未来可能影响艺术创作、自动化设计等多个领域。

📄 摘要（原文）

Large language models (LLMs) can generate visual assets through text-based formats such as SVG and CAD, but these symbolic representations describe images using high-level primitives rather than explicit raster values. We ask whether LLMs can instead generate pixel images directly through their existing vocabulary, without a learned image tokenizer or decoder. We introduce PixelBench, a benchmark for text-to-pixel (T2P) and image-to-pixel (I2P) generation across multiple resolutions, together with a complementary pixel-understanding evaluation. Models generate an RGB color palette followed by a grid of indices specifying the palette color of each output pixel. In T2P, the strongest models produce recognizable images directly from text. In I2P, the strongest models outperform palette-matched downsampling and specialized pixelization algorithms at low resolutions. Pixel-understanding performance correlates strongly with generation performance. A resolution-scaling study shows that pixel-generation performance often improves initially before declining at high resolutions. Finally, we introduce Pixel Reconstruction Tuning (PRT), which augments visual instruction tuning with caption-palette-grid trajectories. We post-train Molmo2-4B from its pretraining checkpoint by mixing general instruction data with our curated PRT data, improving performance across 16 visual-centric benchmarks, indicating that explicit pixel reconstruction can provide useful auxiliary supervision.