ImageNet-D: Benchmarking Neural Network Robustness on Diffusion Synthetic Object

📄 arXiv: 2403.18775v1 📥 PDF

作者: Chenshuang Zhang, Fei Pan, Junmo Kim, In So Kweon, Chengzhi Mao

分类: cs.CV, cs.AI, cs.LG

发布日期: 2024-03-27

备注: Accepted at CVPR 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出ImageNet-D以评估神经网络在合成物体上的鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉鲁棒性 扩散模型 合成图像 深度学习 基准测试 计算机视觉 神经网络

📋 核心要点

  1. 现有的视觉鲁棒性基准在合成质量和变化范围上存在不足，无法全面评估深度模型的鲁棒性。
  2. 本研究通过扩散模型生成多样化的合成图像，提出了ImageNet-D基准，以更好地评估视觉模型的鲁棒性。
  3. 实验结果显示，ImageNet-D对多种视觉模型的准确率造成显著下降，最高可达60%，验证了其有效性。

📝 摘要（中文）

我们建立了视觉感知鲁棒性的严格基准。现有的合成图像基准如ImageNet-C、ImageNet-9和Stylized ImageNet在特定类型的合成损坏、背景和纹理上提供了评估，但这些基准在变化范围和合成质量上存在限制。本研究引入生成模型作为合成困难图像的来源，以基准深度模型的鲁棒性。通过利用扩散模型，我们能够生成比以往任何工作都更具多样化背景、纹理和材料的图像，我们将此基准称为ImageNet-D。实验结果表明，ImageNet-D对多种视觉模型的准确率造成显著下降，从标准的ResNet视觉分类器到最新的基础模型如CLIP和MiniGPT-4，准确率下降幅度高达60%。我们的工作表明，扩散模型可以有效地测试视觉模型。代码和数据集可在https://github.com/chenshuang-zhang/imagenet_d获取。

🔬 方法详解

问题定义：本论文旨在解决现有视觉鲁棒性基准在合成质量和变化范围上的不足，现有方法无法全面评估深度学习模型在不同条件下的表现。

核心思路：通过引入扩散模型作为合成困难图像的来源，生成具有多样化背景、纹理和材料的图像，以建立更具挑战性的鲁棒性基准ImageNet-D。

技术框架：整体架构包括数据生成模块和评估模块。数据生成模块利用扩散模型生成合成图像，评估模块则对不同视觉模型在这些图像上的表现进行测试。

关键创新：最重要的创新在于使用扩散模型生成高质量、多样化的合成图像，这与以往方法生成的图像质量和多样性有本质区别。

关键设计：在参数设置上，扩散模型的训练采用了特定的损失函数，以确保生成图像的多样性和真实性，同时在网络结构上进行了优化，以提高生成效率和质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用ImageNet-D基准测试的视觉模型准确率显著下降，标准ResNet和最新的CLIP、MiniGPT-4等模型的准确率下降幅度高达60%。这一结果突显了该基准在评估视觉模型鲁棒性方面的重要性。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、自动驾驶、机器人视觉等。通过提供更具挑战性的鲁棒性评估基准，能够帮助研究人员更好地理解和改进视觉模型的鲁棒性，推动相关技术的发展和应用。

📄 摘要（原文）

We establish rigorous benchmarks for visual perception robustness. Synthetic images such as ImageNet-C, ImageNet-9, and Stylized ImageNet provide specific type of evaluation over synthetic corruptions, backgrounds, and textures, yet those robustness benchmarks are restricted in specified variations and have low synthetic quality. In this work, we introduce generative model as a data source for synthesizing hard images that benchmark deep models' robustness. Leveraging diffusion models, we are able to generate images with more diversified backgrounds, textures, and materials than any prior work, where we term this benchmark as ImageNet-D. Experimental results show that ImageNet-D results in a significant accuracy drop to a range of vision models, from the standard ResNet visual classifier to the latest foundation models like CLIP and MiniGPT-4, significantly reducing their accuracy by up to 60\%. Our work suggests that diffusion models can be an effective source to test vision models. The code and dataset are available at https://github.com/chenshuang-zhang/imagenet_d.