VGIQA: Fine-Grained Image Quality Assessment with Visual Grounding Rewards

📄 arXiv: 2610.37186v1 📥 PDF

作者: Weichang Wang, Liyu Chen, Shuyue Guan, Jie Hu, Fei Gao, Wei Li, Nannan Wang

分类: cs.CV

发布日期: 2026-10-27

备注: 20 pages, 5 figures, 6 tables; main paper: 4 figures and 4 tables, appendix: 1 figure and 2 tables

💡 一句话要点

提出VGIQA以解决图像质量评估的局限性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图像质量评估 多模态学习 强化学习 局部评估 视觉理解

📋 核心要点

  1. 现有的图像质量评估方法主要集中在整体图像级评估，缺乏细粒度的局部评估能力，限制了其实际应用。
  2. VGIQA模型通过冷启动和强化学习的两阶段训练，结合局部质量评估奖励函数，实现了局部与全局质量评估的结合。
  3. 在VGSR-2K数据集上，VGIQA显著超越了现有的开源模型，且局部质量评估提升了退化感知任务的性能。

📝 摘要（中文）

图像质量评估（IQA）旨在评估图像的感知视觉质量。近年来，多模态大型语言模型（MLLMs）的快速发展显著推动了IQA领域的进步。通过整合链式思维推理和强化学习，这些模型能够生成更准确和可解释的结果，同时依赖于更少的训练数据。然而，现有的基于MLLM的方法主要局限于整体的图像级评估，缺乏产生细粒度、局部评估的能力，限制了其实际应用。为了解决这一限制，我们提出了VGIQA，这是一种新颖的IQA模型，具备局部和全局质量评估能力。VGIQA通过冷启动阶段和强化学习的两阶段范式进行训练，借助精心设计的局部质量评估奖励函数，我们的模型在专门为局部质量评估提出的新数据集VGSR-2K上表现出色，显著超越了现有的开源MLLM，如Qwen2.5-VL-72B-Instruct和Qwen3-VL-32B-Instruct。此外，局部质量评估任务能够有效提升模型在退化感知任务上的表现。

🔬 方法详解

问题定义：本论文旨在解决现有图像质量评估方法在细粒度局部评估方面的不足。现有方法多为整体评估，无法满足实际应用需求。

核心思路：VGIQA模型的核心思路是通过强化学习和局部质量评估奖励函数，提升模型在局部和全局质量评估上的能力，从而实现更精确的图像质量理解。

技术框架：VGIQA的整体架构包括两个主要阶段：冷启动阶段用于初步训练，随后通过强化学习阶段进行优化。模型在训练过程中引入局部质量评估奖励函数，以增强局部评估能力。

关键创新：VGIQA的主要创新在于其结合了局部和全局质量评估的能力，突破了传统方法的局限，能够提供更细致的图像质量分析。

关键设计：在模型设计中，采用了特定的损失函数来优化局部质量评估，并通过强化学习策略来动态调整奖励函数，以提升模型的学习效果。具体的网络结构和参数设置在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在VGSR-2K数据集上的实验结果显示，VGIQA模型在局部质量评估任务中显著超越了Qwen2.5-VL-72B-Instruct和Qwen3-VL-32B-Instruct等现有开源模型，提升幅度达到XX%（具体数据待补充）。此外，局部质量评估任务的引入有效增强了模型在退化感知任务上的表现。

🎯 应用场景

VGIQA模型在图像质量评估领域具有广泛的应用潜力，特别是在需要细粒度质量分析的场景，如图像处理、视频监控和医疗影像分析等。其创新的局部评估能力将推动相关领域的技术进步，提升用户体验和应用效果。

📄 摘要（原文）

Image quality assessment (IQA) aims to evaluate the perceptual visual quality of images. Recently, the rapid development of Multi-modal Large Language Models (MLLMs) has significantly advanced the IQA field. By integrating chain-of-thought (CoT) reasoning and reinforcement learning (RL), these models can generate more accurate and interpretable results while relying on less training data. However, existing MLLM-based methods are predominantly constrained to holistic, image-level evaluations and lack the capability to produce fine-grained, localized assessments, which substantially limits their practical applicability. To address this limitation, we propose VGIQA, a novel IQA model endowed with both local and global quality assessment capabilities. VGIQA is trained via a two-stage paradigm comprising a cold-start phase followed by reinforcement learning. Driven by carefully designed local quality assessment reward functions, our model exhibits exceptional image quality understanding on VGSR-2K, a new dataset we propose specifically for local quality evaluation, significantly outperforming existing open-source MLLMs such as Qwen2.5-VL-72B-Instruct and Qwen3-VL-32B-Instruct. Furthermore, the local quality evaluation task can effectively enhance the model's performance on the degradation perception task.