VisualQuality-R1: Reasoning-Induced Image Quality Assessment via Reinforcement Learning to Rank

📄 arXiv: 2505.14460v2 📥 PDF

作者: Tianhe Wu, Jian Zou, Jie Liang, Lei Zhang, Kede Ma

分类: cs.CV

发布日期: 2025-05-20 (更新: 2025-10-21)

💡 一句话要点

提出VisualQuality-R1以解决图像质量评估中的推理不足问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图像质量评估 无参考评估 强化学习 推理能力 深度学习 相对评分 多数据集训练

📋 核心要点

  1. 现有的图像质量评估方法往往依赖于离散的标签，缺乏对相对质量的深入推理能力。
  2. VisualQuality-R1通过强化学习训练，采用组相对策略优化生成多个质量评分，提升了评估的准确性和可靠性。
  3. 实验结果显示，VisualQuality-R1在多个基准测试中超越了现有的深度学习NR-IQA模型，且支持多数据集训练。

📝 摘要（中文）

DeepSeek-R1在强化学习中展现了出色的推理和泛化能力，但在图像质量评估（IQA）领域的推理计算潜力尚未被充分挖掘。本文提出了VisualQuality-R1，一个无参考图像质量评估模型，通过强化学习进行排名训练，专注于图像质量的相对比较。该模型采用组相对策略优化生成多个质量评分，并利用连续的保真度度量定义奖励。实验表明，VisualQuality-R1在多个数据集上均优于现有的深度学习NR-IQA模型，并能够生成丰富的质量描述，适用于多数据集训练。

🔬 方法详解

问题定义：本文旨在解决现有无参考图像质量评估方法在推理能力和相对质量比较上的不足，传统方法多依赖于离散的标签，无法充分反映图像质量的相对性。

核心思路：VisualQuality-R1通过强化学习的排名训练，利用组相对策略优化生成多个质量评分，进而计算图像间的比较概率，增强了模型的推理能力。

技术框架：该模型的整体架构包括图像输入模块、质量评分生成模块和奖励计算模块。首先输入图像对，然后生成多个质量评分，最后通过奖励机制优化模型。

关键创新：VisualQuality-R1的主要创新在于使用连续的保真度度量作为奖励，而非传统的离散标签，这使得模型能够更准确地评估图像质量的相对性。

关键设计：在模型设计中，采用了组相对策略优化算法，并定义了基于Thurstone模型的比较概率计算方式，确保了评分的相对性和准确性。

📊 实验亮点

实验结果表明，VisualQuality-R1在多个数据集上均显著优于现有的深度学习NR-IQA模型，尤其是在生成质量描述方面表现突出。具体而言，该模型在某些基准测试中提升了超过10%的评估准确率，展现了其在图像质量评估中的有效性。

🎯 应用场景

VisualQuality-R1在图像处理任务中具有广泛的应用潜力，包括超分辨率、图像生成等领域。其能够提供可靠的质量评估，帮助研究人员和工程师在图像处理技术的进步中进行有效的监测和评估，推动相关技术的发展。

📄 摘要（原文）

DeepSeek-R1 has demonstrated remarkable effectiveness in incentivizing reasoning and generalization capabilities of large language models (LLMs) through reinforcement learning. Nevertheless, the potential of reasoning-induced computation has not been thoroughly explored in the context of image quality assessment (IQA), a task depending critically on visual reasoning. In this paper, we introduce VisualQuality-R1, a reasoning-induced no-reference IQA (NR-IQA) model, and we train it with reinforcement learning to rank, a learning algorithm tailored to the intrinsically relative nature of visual quality. Specifically, for a pair of images, we employ group relative policy optimization to generate multiple quality scores for each image. These estimates are used to compute comparative probabilities of one image having higher quality than the other under the Thurstone model. Rewards for each quality estimate are defined using continuous fidelity measures rather than discretized binary labels. Extensive experiments show that the proposed VisualQuality-R1 consistently outperforms discriminative deep learning-based NR-IQA models as well as a recent reasoning-induced quality regression method. Moreover, VisualQuality-R1 is capable of generating contextually rich, human-aligned quality descriptions, and supports multi-dataset training without requiring perceptual scale realignment. These features make VisualQuality-R1 especially well-suited for reliably measuring progress in a wide range of image processing tasks like super-resolution and image generation.