RouteREPA: Routed Representation Alignment for Just Image Transformers

📄 arXiv: 2611.02941v1 📥 PDF

作者: Yi Tan, Beier Zhu, Sirui Chen, Cheng Chen, Xingyu Zhu, Yuan Zhou, Zhenshan Tan, Tianrun Chen, Hanwang Zhang

分类: cs.CV, cs.LG

发布日期: 2026-11-02

备注: 23 pages

💡 一句话要点

提出RouteREPA以解决Just Image Transformers的表示对齐问题

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)

关键词: 表示对齐 图像生成 深度学习 计算机视觉 模型优化

📋 核心要点

  1. 现有方法在将表示对齐应用于像素空间模型时面临显著的表示冲突，导致训练效果不佳。
  2. 论文提出RouteREPA，通过轻量级路由器自适应路由任务导向的表示，以解决JiT中的表示对齐问题。
  3. 在ImageNet-1K数据集上，RouteREPA在不同模型规模和训练预算下均显著提升了JiT的性能，超越了传统REPA。

📝 摘要（中文）

表示对齐（REPA）广泛用于加速潜在空间扩散变换器（DiTs）的训练。然而，将其应用于像Just Image Transformers（JiT）这样的像素空间模型面临挑战。我们的分析揭示了判别对齐与像素空间生成之间的显著表示冲突。与潜在模型相比，JiT学习的表示与DINOv2的对齐程度显著降低。将REPA应用于JiT会持续降低其中间表示的可重构性，而在潜在JiT中未观察到这种影响。我们将这一冲突归因于JiT直接重构像素，这要求其表示在网络深度上分层编码判别语义和与重构相关的视觉信息。为了解决这些挑战，我们提出了Routed Representation Alignment（RouteREPA），使用轻量级的、依赖表示的路由器自适应地路由任务导向的表示以实现对齐和生成。大量在ImageNet-1K上进行的实验表明，RouteREPA在不同模型规模和训练预算下持续改善JiT的性能，超越了标准REPA。

🔬 方法详解

问题定义：本论文旨在解决在Just Image Transformers（JiT）中应用表示对齐（REPA）时出现的表示冲突问题。现有方法在像素空间模型中难以实现有效的表示对齐，导致训练效果不理想。

核心思路：论文提出的RouteREPA通过使用轻量级的路由器，根据任务需求自适应地路由表示，从而实现更好的对齐和生成效果。此设计旨在克服JiT在直接重构像素时的表示冲突。

技术框架：RouteREPA的整体架构包括多个模块，主要包括表示路由器、任务导向的表示生成和多层次的深度路由。通过在不同网络深度上应用路由，满足了深度依赖的表示需求。

关键创新：RouteREPA的核心创新在于引入了表示依赖的路由器，这与传统的REPA方法有本质区别，后者未能有效处理像素空间模型中的表示对齐问题。

关键设计：在RouteREPA中，设计了轻量级路由器以适应不同任务的表示需求，并在损失函数中考虑了对齐和生成的平衡。此外，网络结构经过优化，以支持多层次的表示路由。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在ImageNet-1K数据集上，RouteREPA在JiT-H/16模型上表现出色，使用仅为PixelREPA三分之一的训练周期，且未使用无分类器引导，显著提升了模型的性能。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉中的图像生成、图像重构和图像理解等任务。通过改善JiT的表示对齐能力，RouteREPA可以在实际应用中提升图像生成模型的性能，推动相关技术的发展与应用。

📄 摘要（原文）

Representation alignment (REPA) is widely used to accelerate the training of latent-space diffusion transformers (DiTs). However, applying it to pixel-space models such as Just Image Transformers (JiT) is challenging. Our analysis reveals a pronounced representation conflict between discriminative alignment and pixel-space generation. Compared with its latent counterpart, JiT learns representations that are substantially less aligned with DINOv2. Applying REPA to JiT consistently reduces the reconstructability of its intermediate representations, whereas this effect is not observed in Latent JiT. We attribute this conflict to JiT directly reconstructing pixels, which requires its representations to hierarchically encode discriminative semantics and reconstruction-relevant visual information across network depths. To address these challenges, we propose Routed Representation Alignment (RouteREPA), which uses lightweight, representation-dependent routers to adaptively route task-oriented representations for alignment and generation. We further apply routing across multiple network depths to accommodate their depth-dependent representation requirements. Extensive experiments on ImageNet-1K at 256x256 resolution show that RouteREPA consistently improves JiT across model scales and training budgets, outperforming standard REPA. On JiT-H/16, RouteREPA further surpasses PixelREPA using only one-third of its training epochs without classifier-free guidance.