STAR: SpatioTemporal Adaptive Reward Allocation for Text-to-Image RL Post-Training

📄 arXiv: 2606.17979v1 📥 PDF

作者: Jinjie Shen, Wei Deng, Xian Hu, Daiguo Zhou, Jian Luan

分类: cs.AI

发布日期: 2026-06-16

💡 一句话要点

提出STAR以解决文本到图像生成中的奖励分配问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 文本到图像生成 强化学习 奖励分配 生成模型 时空自适应

📋 核心要点

  1. 现有的强化学习后训练方法在文本到图像生成中存在奖励分配不均的问题，导致生成效果不理想。
  2. 本文提出了STAR方法，通过动态空间分配图来优化奖励分配，聚焦于用户关心的图像内容。
  3. 实验结果显示，STAR在GenEval、OCR文本渲染和PickScore任务上分别达到了0.9759、0.9757和23.60的优异表现。

📝 摘要（中文）

现有的文本到图像生成的强化学习后训练方法通常将最终图像奖励转换为单一标量优势，并以相同的强度应用于整个生成轨迹。然而，文本到图像生成自然具有时空结构：不同的去噪步骤负责不同的生成阶段，真正决定文本对齐的内容往往只出现在图像的部分区域。为了解决这一问题，本文提出了时空自适应奖励分配（STAR），该方法利用生成模型中的文本-图像注意力，从用户真正关心的核心内容出发，构建动态变化的空间分配图，并将相对优势分配给更相关的潜在区域。实验结果表明，STAR在不改变外部奖励源的情况下，显著提升了组合语义对齐、文本渲染和偏好优化。

🔬 方法详解

问题定义：现有的文本到图像生成强化学习后训练方法将最终图像奖励简化为单一标量，导致奖励分配不均，难以有效更新策略。

核心思路：本文提出的STAR方法利用文本-图像注意力机制，从用户关心的核心内容出发，动态构建空间分配图，以更合理地分配奖励。

技术框架：STAR方法的整体架构包括生成模型的文本-图像注意力模块、动态空间分配图的构建和相对优势的分配，确保在不同去噪步骤中优化策略更新。

关键创新：STAR的核心创新在于其时空自适应的奖励分配机制，能够针对不同生成阶段和区域进行灵活调整，与传统方法的静态奖励分配形成鲜明对比。

关键设计：在设计中，STAR采用了动态变化的空间分配图，确保在计算开销几乎不增加的情况下，将更强的策略更新应用于相关的潜在区域。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，STAR方法在GenEval、OCR文本渲染和PickScore任务上分别取得了0.9759、0.9757和23.60的成绩，相较于基线方法有显著提升，展示了其在组合语义对齐和文本渲染方面的优越性。

🎯 应用场景

该研究的潜在应用领域包括文本到图像生成、计算机视觉和自然语言处理等。通过优化奖励分配，STAR能够提升生成模型的性能，具有广泛的实际价值，尤其在需要高质量图像生成的场景中，如广告创作和内容生成等。未来，STAR方法可能推动更多基于强化学习的生成模型的研究与应用。

📄 摘要（原文）

Existing RL post-training methods for text-to-image generation usually convert the final-image reward into a single scalar advantage and apply it with the same strength to the entire generative trajectory. However, text-to-image generation naturally has temporal and spatial structure: different denoising steps are responsible for different generation stages, and the content that truly determines text alignment often appears only in part of the image. This granularity mismatch makes it difficult for policy updates to focus on the generative components that actually affect the reward. To address this issue, we propose \textbf{SpatioTemporal Adaptive Reward (STAR) Allocation} for RL post-training of text-to-image diffusion and flow models. STAR uses text-image attention inside the generative model and starts from the core content that the user truly cares about in the prompt. It constructs spatial allocation maps that dynamically vary across denoising steps and rollouts, and allocates the same group-relative advantage to more relevant latent regions with almost no additional computational overhead. STAR then applies stronger policy updates to these regions through a spatially resolved policy objective. We use Stable Diffusion 3.5 Medium as the base model and evaluate on three tasks: GenEval, OCR text rendering, and PickScore. Experimental results show that STAR improves compositional semantic alignment, text rendering, and preference optimization without changing the external reward source, achieving $\mathbf{0.9759}$, $\mathbf{0.9757}$, and $\mathbf{23.60}$ on GenEval, OCR, and PickScore, respectively.