Information-Theoretic Classifier-Free Guidance with Adaptive Schedule Optimization

📄 arXiv: 2606.24025v1 📥 PDF

作者: Haobo Chen, Xiangxiang Xu, Yuheng Bu

分类: cs.LG

发布日期: 2026-06-23

💡 一句话要点

提出信息论框架优化无分类器引导以解决一致性与覆盖性权衡问题

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)

关键词: 扩散模型 无分类器引导 信息论 条件生成 调度优化 一致性与覆盖性 图像生成 多样性

📋 核心要点

  1. 现有的无分类器引导方法在提高条件一致性的同时，往往导致生成结果的多样性和覆盖率下降，难以平衡这两者。
  2. 本文提出了一种信息论框架，通过优化引导调度来控制一致性与覆盖性之间的权衡，使用干净的终点参考进行指导。
  3. 在ImageNet-512和COCO数据集上的实验表明，所提出的方法在引导调度上实现了竞争力或更好的权衡，且在不同噪声水平上进行选择性引导。

📝 摘要（中文）

扩散模型在图像、文本到图像及视频生成中表现出色，其中条件生成通常通过无分类器引导（CFG）进行控制。CFG通过增加引导权重来提高条件一致性，但更强的引导通常会降低多样性和分布覆盖率。如何在反向轨迹中控制这种一致性与覆盖性之间的权衡仍不明确。为了解决这一问题，本文提出了一种信息论框架用于CFG调度优化。该方法使用干净的终点参考来指定所需的一致性-覆盖性权衡，同时优化由引导采样器诱导的实际分布。我们推导了轨迹级别的公式来从样本和评分评估中估计目标，避免了显式的密度估计。在ImageNet-512和COCO数据集上，学习的调度在权衡上达到了与常量引导相当或更好的效果，并在噪声水平上选择性地分配引导。

🔬 方法详解

问题定义：本文旨在解决无分类器引导（CFG）在条件生成中面临的一致性与覆盖性权衡问题。现有方法通常通过增加引导权重来提高一致性，但这会降低生成结果的多样性和覆盖率。

核心思路：论文提出的信息论框架通过优化引导调度来平衡一致性与覆盖性，利用干净的终点参考来指导优化过程，从而避免了对密度的显式估计。

技术框架：整体方法包括两个主要模块：首先，使用干净的终点参考定义目标一致性-覆盖性权衡；其次，通过轨迹级别的公式从样本和评分评估中估计目标，并优化引导调度。

关键创新：最重要的创新在于提出了一种信息论框架来优化CFG调度，区别于传统方法的固定时间引导，能够动态调整引导权重以适应不同的噪声水平。

关键设计：在技术细节上，论文设计了轨迹级别的目标估计公式，并通过实验验证了在不同数据集上学习的调度能够有效提高生成质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在ImageNet-512和COCO数据集上，所提出的调度方法在一致性与覆盖性权衡上达到了与常量引导相当或更好的效果，且在不同噪声水平上实现了选择性引导，显著提升了生成质量。

🎯 应用场景

该研究的潜在应用领域包括图像生成、文本到图像生成和视频生成等多模态生成任务。通过优化引导调度，该方法能够在保持生成结果一致性的同时，提升多样性和覆盖率，具有重要的实际价值和未来影响。

📄 摘要（原文）

Diffusion models have achieved strong performance in image, text-to-image, and video generation, where conditional generation is often controlled by classifier-free guidance (CFG). CFG improves condition consistency by increasing a guidance weight, but stronger guidance typically reduces diversity and distributional coverage. It remains unclear how this consistency-coverage trade-off should be controlled across the reverse trajectory, since the distribution induced by CFG is not simply the fixed-time tilted distribution given by the guided score field. To address this issue, we propose an information-theoretic framework for CFG schedule optimization. Our approach uses a clean endpoint reference to specify the desired consistency-coverage trade-off, while optimizing the actual distribution induced by the guided sampler toward this reference. We derive trajectory-level formulas to estimate the objective from samples and score evaluations, avoiding explicit density estimation. On ImageNet-512 with EDM-XXL and COCO with SD-XL, the learned schedules achieve competitive or improved trade-offs over constant guidance and allocate guidance selectively across noise levels.