When Guidance Goes Off-Scale: Recalibrating Diffusion Transformers under Analog Compute-in-Memory Nonidealities

📄 arXiv: 2608.19644v1 📥 PDF

作者: Wenshuai Yao, Wenyong Zhou

分类: cs.CV

发布日期: 2026-08-20

备注: 9 pages, 8 figures, 3 tables

💡 一句话要点

提出重校准方法以解决扩散变换器在模拟计算中的非理想性问题

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)

关键词: 扩散变换器 模拟计算 非理想性 重校准 生成模型 去噪 分类器无关引导 机器学习

📋 核心要点

  1. 现有的扩散变换器在采样时面临高内存流量和能耗的问题，尤其是在模拟计算环境下，CIM的非理想性导致去噪效果下降。
  2. 论文提出了一种无重训练的重校准方法，通过调整CFG规模来应对CIM的非理想性，从而改善生成质量。
  3. 实验结果显示，重校准方法在不同CIM噪声条件下有效恢复生成质量，FID指标显著降低，表明方法的有效性。

📝 摘要（中文）

扩散变换器（DiTs）在采样过程中因重复评估大型去噪器而导致高内存流量和能耗。模拟内存计算（CIM）能够通过在存储权重的内存阵列中执行线性操作来缓解这些成本。然而，CIM的非理想性会扰动有效权重，导致误差沿着状态依赖的去噪轨迹累积。本文探讨了CIM非理想性对DiT采样的影响，并提出了一种无重训练的采样器侧重校准方法，调整给定CIM条件下的分类器无关引导（CFG）规模。实验结果表明，适度的重校准能够增强目标导向成分，显著提升生成质量。

🔬 方法详解

问题定义：本文旨在解决扩散变换器在模拟计算环境中因CIM非理想性导致的去噪效果下降问题。现有方法未能充分考虑CIM对生成质量的影响，尤其是CFG残差的变化。

核心思路：论文提出了一种重校准方法，专注于调整CFG规模以适应不同的CIM条件，而无需重训练模型。这种方法旨在通过控制CFG残差来提升生成质量。

技术框架：整体框架包括对CIM非理想性的分析、CFG残差的识别与控制，以及重校准策略的实施。主要模块包括数据采样、CFG调整和质量评估。

关键创新：最重要的创新在于识别CFG残差作为可控的失败通道，并提出无重训练的重校准策略。这一方法与传统的重训练方法本质上不同，能够更灵活地适应CIM的变化。

关键设计：在设计中，重校准的参数设置基于CIM噪声水平，损失函数考虑了生成质量与CFG残差的关系，确保在不同条件下均能有效调整CFG规模。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，重校准方法在不同CIM噪声条件下显著提升生成质量，FID指标在PixArt-Sigma上从59.22降至20.49，PixArt-alpha上从72.37降至21.12，DiT-XL/2上从20.89降至6.62，表明方法的有效性和鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括图像生成、视频生成以及其他需要高质量生成模型的任务。通过改善扩散变换器在模拟计算环境中的表现，能够推动相关领域的技术进步，提升生成模型在实际应用中的可靠性和效率。

📄 摘要（原文）

Diffusion Transformers (DiTs) incur high memory traffic and energy costs because sampling repeatedly evaluates large denoisers dominated by linear operations. Analog compute-in-memory (CIM) can alleviate these costs by executing linear operations within weight-storing memory arrays. However, CIM nonidealities perturb effective weights, with errors accumulating along the state-dependent denoising trajectory; their interaction with classifier-free guidance (CFG) remains underexplored. In this paper, we characterize the impact of analog CIM nonidealities on DiT sampling. Although conditional and unconditional predictions can each remain close to their clean counterparts, their difference (the CFG residual) is disproportionately attenuated and rotated. Identifying this residual as a controllable failure channel, we propose a retraining-free, sampler-side recalibration that adjusts only the CFG scale for a given CIM condition. Trajectory-level analysis shows that moderate recalibration strengthens the target-oriented component preserved in the distorted residual, enabling earlier commitment to a prompt-consistent semantic region. In contrast, excessive guidance amplifies the full noisy residual and degrades quality, resulting in a finite, noise-dependent optimum. Extensive experiments on PixArt-Sigma, PixArt-alpha, and DiT-XL/2 show that the optimal guidance scale increases with CIM noise. Using 30,000 samples per condition, guidance recalibration consistently restores generation quality across simulated CIM mappings, closing at least 87% of the CIM-induced FID gap at a CIM noise level of 0.20. It reduces FID from 59.22 to 20.49 on PixArt-Sigma, 72.37 to 21.12 on PixArt-alpha, and 20.89 to 6.62 on DiT-XL/2.