DeCoRL: Decomposed Consistency Reinforcement Learning for Multi-Image Composition

📄 arXiv: 2610.39265v1 📥 PDF

作者: Zhiqiang Wu, Shuang Sun, Jiale Zhang, Jing Li, Yibo Chen, Xu Tang, Yao Hu

分类: cs.CV, cs.AI

发布日期: 2026-10-29

备注: NeurIPS

💡 一句话要点

提出DeCoRL以解决多图像合成一致性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多图像合成 一致性学习 强化学习 对象级对应 图像编辑 VLM模型 细粒度反馈

📋 核心要点

  1. 现有的多图像合成方法在处理多个参考图像时，容易导致合成图像的一致性下降，难以实现可靠的对象级对应关系。
  2. 本文提出DeCoRL框架，通过将整体一致性分解为对象级一致性，利用强化学习和细粒度反馈来提升合成图像的一致性。
  3. 在DeCo-Bench基准测试中，DeCoRL在多图像合成的一致性方面表现出显著的提升，验证了其有效性。

📝 摘要（中文）

多图像合成（MICo）是大规模图像编辑模型中的一项关键能力，但随着参考图像数量的增加，一致性迅速下降。虽然监督微调（SFT）能够赋予模型基本的MICo能力，但其对合成图像的监督仅为隐式，且常常无法学习到多个参考图像之间可靠的对象级对应关系。为此，本文提出了DeCoRL，一个通过将整体MICo一致性分解为对象级一致性来提升MICo一致性的强化学习框架。DeCoRL首先在参考图像中建立与指令相关的对象对应关系，并在生成图像中定位相应区域。然后，它利用基于VLM的奖励模型，针对单对象一致性注释生成细粒度的对象级反馈，并将其聚合为多对象一致性奖励，以指导强化学习后训练。实验结果表明，在DeCo-Bench和公共MICo-Bench上，MICo一致性得到了显著提升。

🔬 方法详解

问题定义：本文旨在解决多图像合成中一致性快速下降的问题，现有方法在多个参考图像间缺乏可靠的对象级对应关系，导致合成效果不佳。

核心思路：DeCoRL通过将整体的MICo一致性分解为对象级一致性，建立指令相关的对象对应关系，并利用细粒度的反馈来指导合成过程，从而提升合成图像的一致性。

技术框架：DeCoRL的整体架构包括两个主要模块：首先是对象对应关系的建立与区域定位，其次是基于VLM的奖励模型生成对象级反馈，最终通过强化学习进行后训练。

关键创新：DeCoRL的创新在于将一致性问题分解为对象级，利用细粒度的反馈机制来提升合成质量，这与传统方法的整体一致性处理方式有本质区别。

关键设计：在设计上，DeCoRL采用了VLM模型进行奖励生成，结合单对象一致性注释进行训练，确保反馈的细致性和准确性，同时在多对象一致性奖励的聚合上进行了优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在DeCo-Bench基准测试中，DeCoRL在多图像合成一致性方面表现出显著提升，相较于基线方法，合成一致性提高了XX%，验证了其有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括图像编辑、虚拟现实和增强现实等场景，能够为用户提供更高质量的合成图像，提升视觉体验。未来，DeCoRL可能推动多模态学习和图像生成技术的发展，促进更复杂场景下的图像处理能力。

📄 摘要（原文）

Multi-image composition (MICo) is a critical yet challenging capability for large-scale image editing models, where consistency degrades rapidly as the number of reference images increases. While supervised fine-tuning (SFT) can equip models with basic MICo ability, it provides only implicit supervision on the composed image and often fails to learn reliable object-level correspondence across multiple references. We propose DeCoRL, a reinforcement-learning (RL) framework that improves MICo consistency by decomposing holistic MICo consistency into object-level consistency. DeCoRL first establishes instruction-relevant object correspondences across reference images and localizes the corresponding regions in the generated image. It then uses a VLM-based reward model trained on single-object consistency annotations to produce fine-grained, object-wise feedback, which is aggregated into a multi-object consistency reward to guide RL post-training. We further introduce DeCo-Bench, a benchmark covering compositions from 2 to 6 reference images. Experiments on DeCo-Bench and the public MICo-Bench demonstrate consistent improvements in MICo consistency.