Residual Connections Harm Generative Representation Learning
作者: Xiao Zhang, Ruoxi Jiang, William Gao, Rebecca Willett, Michael Maire
分类: cs.CV
发布日期: 2024-04-16 (更新: 2026-05-25)
备注: accepted to CVPR 2026
💡 一句话要点
提出加权因子以提升生成表示学习中的语义特征学习
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 生成表示学习 残差网络 特征学习 掩码自编码器 扩散模型 图像分类 深度学习
📋 核心要点
- 现有的残差网络在生成表示学习中存在身份快捷方式影响过大的问题，导致语义特征学习效果不佳。
- 论文提出通过引入加权因子，逐层递减身份连接的贡献，以促进特征抽象的发展，同时保持网络的可训练性。
- 实验结果表明，修改后的模型在ImageNet-1K数据集上K-最近邻准确率提升了36.5个百分点，线性探测准确率提升了4.9个百分点。
📝 摘要（中文）
本文展示了通过引入加权因子来减少残差网络中身份快捷方式的影响，显著增强了生成表示学习框架（如掩码自编码器和扩散模型）的语义特征学习。我们的修改显著提高了特征质量，使得在ImageNet-1K数据集上，基于ViT-B/16的掩码自编码器的K-最近邻准确率从27.4%提升至63.9%，线性探测准确率从67.8%提升至72.7%。这一显著差距表明，尽管残差连接结构在促进梯度传播中起着重要作用，但它可能会通过将浅层表示的回声注入深层来降低抽象学习的能力。我们通过固定公式逐层递减身份连接的贡献，改善了这一缺点。分析修改后的残差网络学习到的表示，我们发现低有效特征秩与下游任务性能之间存在相关性。
🔬 方法详解
问题定义：本文旨在解决残差网络中身份快捷方式对生成表示学习的负面影响，导致特征学习能力下降的问题。
核心思路：通过引入一个加权因子，逐层递减身份连接的影响，从而促进特征的逐步抽象化，避免浅层表示对深层的干扰。
技术框架：整体架构包括修改后的残差网络，采用固定公式来调整身份连接的贡献，确保网络在训练过程中的稳定性和有效性。
关键创新：最重要的创新在于提出了逐层递减身份连接贡献的固定公式，这一设计与传统残差网络的直接连接方式形成了鲜明对比，显著提升了特征学习的质量。
关键设计：在网络结构中，采用了ViT-B/16作为骨干网络，并在损失函数中考虑了特征秩的影响，确保了模型在下游任务中的表现。通过实验验证了这些设计的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，基于ViT-B/16的掩码自编码器在ImageNet-1K数据集上的K-最近邻准确率从27.4%提升至63.9%，线性探测准确率从67.8%提升至72.7%。这一显著提升表明了我们方法的有效性和创新性。
🎯 应用场景
该研究的潜在应用领域包括计算机视觉中的图像生成、图像分类和特征提取等任务。通过提升生成模型的特征学习能力，能够在实际应用中实现更高质量的图像生成和更准确的分类，具有重要的实际价值和未来影响。
📄 摘要（原文）
We show that introducing a weighting factor to reduce the influence of identity shortcuts in residual networks significantly enhances semantic feature learning in generative representation learning frameworks, such as masked autoencoders (MAEs) and diffusion models. Our modification notably improves feature quality, raising ImageNet-1K K-Nearest Neighbor accuracy from 27.4% to 63.9% and linear probing accuracy from 67.8% to 72.7% for MAEs with a ViT-B/16 backbone, while also enhancing generation quality in diffusion models. This significant gap suggests that, while residual connection structure serves an essential role in facilitating gradient propagation, it may have a harmful side effect of reducing capacity for abstract learning by virtue of injecting an echo of shallower representations into deeper layers. We ameliorate this downside via a fixed formula for monotonically decreasing the contribution of identity connections as layer depth increases. Our design promotes the gradual development of feature abstractions, without impacting network trainability. Analyzing the representations learned by our modified residual networks, we find correlation between low effective feature rank and downstream task performance.