Causal Perception Inspired Representation Learning for Trustworthy Image Quality Assessment

📄 arXiv: 2404.19567v1 📥 PDF

作者: Lei Wang, Desen Yuan

分类: cs.CV, eess.IV

发布日期: 2024-04-30

💡 一句话要点

提出因果感知启发的表示学习以解决图像质量评估问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 图像质量评估 因果感知 深度学习 对抗性攻击 模型解释 鲁棒性

📋 核心要点

  1. 现有的基于深度学习的图像质量评估方法在真实应用中不可靠，容易受到对抗性扰动的影响。
  2. 本文提出因果感知启发的表示学习（CPRL），通过提取因果感知表示（CPR）来提高模型的鲁棒性和解释性。
  3. 在四个基准数据库上的实验结果显示，CPRL方法在对抗防御性能上显著优于现有方法，且提供了更好的模型解释能力。

📝 摘要（中文）

尽管深度神经网络在视觉感知建模方面取得了巨大成功，但基于深度学习的图像质量评估（IQA）在实际应用中仍然不可靠，容易受到对抗性扰动的影响，并且其黑箱结构不明确。本文提出了一种通过因果感知启发的表示学习（CPRL）构建可信的IQA模型，并提出了一种针对IQA模型的评分反射攻击方法。具体而言，我们假设每幅图像由因果感知表示（CPR）和非因果感知表示（N-CPR）组成。CPR作为主观质量标签的因果因素，对不可感知的对抗性扰动保持不变，而N-CPR则与主观质量标签存在虚假关联，可能会因对抗性扰动而显著改变。通过开发基于软排序的通道激活函数，我们提取每幅输入图像的CPR，并基于干预采用极小极大博弈进行优化。实验结果表明，所提出的CPRL方法在四个基准数据库上超越了许多最先进的对抗防御方法，并提供了明确的模型解释。

🔬 方法详解

问题定义：本文旨在解决基于深度学习的图像质量评估模型在面对对抗性扰动时的不可靠性，现有方法缺乏对因果关系的理解，导致模型易受攻击。

核心思路：提出因果感知启发的表示学习（CPRL），将图像分解为因果感知表示（CPR）和非因果感知表示（N-CPR），以提取对主观质量标签稳定的特征。

技术框架：整体架构包括图像输入、特征提取模块（使用软排序的通道激活函数）、因果感知表示的优化（通过极小极大博弈），最终输出可信的图像质量评分。

关键创新：最重要的创新在于引入因果感知表示的概念，使得模型能够区分稳定的因果特征与易受扰动的虚假特征，从而提高鲁棒性和解释性。

关键设计：采用软排序的通道激活函数来调节有利于高预测准确性的因果特征和有利于高鲁棒性的必要特征，并通过极小极大博弈优化损失函数以实现模型的最优性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CPRL方法在四个基准数据库上超越了多种最先进的对抗防御方法，具体性能提升幅度达到XX%，并且提供了更清晰的模型解释，显示出其在图像质量评估领域的显著优势。

🎯 应用场景

该研究的潜在应用领域包括图像处理、计算机视觉和安全性评估等。通过提高图像质量评估模型的鲁棒性和解释性，CPRL方法能够在实际应用中提供更可靠的质量评估，尤其是在对抗性环境中，具有重要的实际价值和未来影响。

📄 摘要（原文）

Despite great success in modeling visual perception, deep neural network based image quality assessment (IQA) still remains unreliable in real-world applications due to its vulnerability to adversarial perturbations and the inexplicit black-box structure. In this paper, we propose to build a trustworthy IQA model via Causal Perception inspired Representation Learning (CPRL), and a score reflection attack method for IQA model. More specifically, we assume that each image is composed of Causal Perception Representation (CPR) and non-causal perception representation (N-CPR). CPR serves as the causation of the subjective quality label, which is invariant to the imperceptible adversarial perturbations. Inversely, N-CPR presents spurious associations with the subjective quality label, which may significantly change with the adversarial perturbations. To extract the CPR from each input image, we develop a soft ranking based channel-wise activation function to mediate the causally sufficient (beneficial for high prediction accuracy) and necessary (beneficial for high robustness) deep features, and based on intervention employ minimax game to optimize. Experiments on four benchmark databases show that the proposed CPRL method outperforms many state-of-the-art adversarial defense methods and provides explicit model interpretation.