CREPE: Controlling Diffusion with Replica Exchange

📄 arXiv: 2509.23265v1 📥 PDF

作者: Jiajun He, Paul Jeha, Peter Potaptchik, Leo Zhang, José Miguel Hernández-Lobato, Yuanqi Du, Saifuddin Syed, Francisco Vargas

分类: cs.LG

发布日期: 2025-09-27

备注: 29 pages, 14 figures, 3 tables

💡 一句话要点

CREPE：利用副本交换控制扩散模型，实现推理时灵活引导。

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)

关键词: 扩散模型 副本交换 推理时控制 生成模型 序列蒙特卡洛

📋 核心要点

  1. 现有扩散模型控制方法依赖启发式引导或与SMC耦合，存在局限性。
  2. CREPE利用副本交换算法，顺序生成粒子并保持样本多样性，实现灵活控制。
  3. 实验表明，CREPE在多种任务中表现出色，性能与SMC方法相当甚至更优。

📝 摘要（中文）

本文提出了一种基于副本交换的灵活方法，用于在推理时控制扩散模型，旨在无需重新训练即可引导模型输出以满足新的约束。该方法被称为CREPE（利用副本交换进行控制）。与序列蒙特卡洛（SMC）不同，CREPE：（1）顺序生成粒子，（2）在burn-in阶段后保持生成样本的高度多样性，以及（3）支持在线细化或提前终止。我们通过各种任务展示了其多功能性，包括温度退火、奖励倾斜、模型组合和无分类器引导去偏，与先前的SMC方法相比具有竞争力的性能。

🔬 方法详解

问题定义：现有扩散模型在推理时进行控制，通常需要满足新的约束条件，而无需重新训练模型。然而，先前的方法主要依赖于启发式引导，或者与序列蒙特卡洛（SMC）方法耦合进行偏差校正。这些方法可能存在引导效果不佳、计算成本高昂或样本多样性不足等问题。

核心思路：CREPE的核心思路是借鉴副本交换算法的思想，该算法最初用于解决采样问题。通过维护多个“副本”（replicas），每个副本对应不同的约束条件或目标函数，并在副本之间进行交换，从而促进样本的多样性，并允许模型在不同约束之间进行探索。这种方法能够更灵活地引导扩散模型的生成过程，以满足特定的需求。

技术框架：CREPE的整体框架包括以下几个主要阶段：1）初始化：创建多个副本，每个副本对应不同的目标或约束。2）扩散过程：在每个副本中，运行扩散模型的逆过程，生成样本。3）副本交换：根据一定的准则（例如，Metropolis-Hastings准则），在副本之间交换样本。4）迭代：重复步骤2和3，直到达到收敛或满足停止条件。5）输出：选择满足特定约束或目标的副本中的样本作为最终输出。

关键创新：CREPE的关键创新在于将副本交换算法应用于扩散模型的控制。与传统的SMC方法相比，CREPE能够顺序生成粒子，并在burn-in阶段后保持生成样本的高度多样性。此外，CREPE还支持在线细化或提前终止，从而提高了效率和灵活性。

关键设计：CREPE的关键设计包括：1）副本数量的选择：副本数量会影响样本的多样性和计算成本。2）交换准则的设计：交换准则决定了副本之间样本的交换概率，需要根据具体任务进行调整。3）目标函数的定义：目标函数用于衡量样本与目标约束之间的匹配程度，需要根据具体任务进行设计。4）温度参数的设置：温度参数控制了副本之间的差异程度，需要进行适当的调整。

📊 实验亮点

实验结果表明，CREPE在温度退火、奖励倾斜、模型组合和无分类器引导去偏等任务中表现出色，与先前的SMC方法相比具有竞争力的性能。具体来说，CREPE能够生成更多样化的样本，并更快地收敛到目标分布。这些结果验证了CREPE的有效性和优越性。

🎯 应用场景

CREPE在图像生成、文本生成、音频生成等领域具有广泛的应用前景。例如，可以用于生成具有特定风格或属性的图像，生成满足特定约束条件的文本，或者生成具有特定音色的音频。此外，CREPE还可以用于模型组合和无分类器引导去偏等任务，具有重要的实际价值和潜在的未来影响。

📄 摘要（原文）

Inference-time control of diffusion models aims to steer model outputs to satisfy new constraints without retraining. Previous approaches have mostly relied on heuristic guidance or have been coupled with Sequential Monte Carlo (SMC) for bias correction. In this paper, we propose a flexible alternative based on replica exchange, an algorithm designed initially for sampling problems. We refer to this method as the CREPE (Controlling with REPlica Exchange). Unlike SMC, CREPE: (1) generates particles sequentially, (2) maintains high diversity in the generated samples after a burn-in period, and (3) enables online refinement or early termination. We demonstrate its versatility across various tasks, including temperature annealing, reward-tilting, model composition and classifier-free guidance debiasing, with competitive performance compared to prior SMC methods.