CodecArena: Codec Quality Assessment via Visual Reinforcement Learning

📄 arXiv: 2608.09139v1 📥 PDF

作者: Jiaye Fu, Weiqi Li, Qiankun Gao, Yanchen Zhao, Xiandong Meng, Jian Zhang, Siwei Ma, Jiaqi Zhang

分类: cs.CV

发布日期: 2026-08-10

备注: The project page is: https://jyfu-vcl.github.io/codecarena

💡 一句话要点

提出CodecArena以解决视频编码质量评估问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视频编码 质量评估 视觉-语言框架 强化学习 多维度评估

📋 核心要点

  1. 现有视频编码质量评估方法如LPIPS和DISTS未能有效衡量内容的真实度，导致不准确的评估结果。
  2. 本文提出CodecArena，通过视觉-语言框架进行视频编码质量评估，采用强化学习优化编码器偏好。
  3. 实验结果显示，CodecArena在源不重叠内容上与人类判断的符合度超过了现有感知指标，表现出色。

📝 摘要（中文）

视频编码正在向低比特率和超低比特率领域发展，现有的主流评估指标如LPIPS和DISTS主要关注特征和纹理相似性，而非内容的真实度。为了解决这一问题，本文提出了CodecArena，这是第一个基于视觉-语言框架的视频编码质量评估方法。该方法通过源条件比较推理来评估编码器的性能，并采用Facet-GRPO视觉强化学习方案来优化编码器偏好，确保评估结果在身份、物体、文本、纹理和时间一致性等五个方面的真实度上具有可解释性。为支持训练和评估，本文构建了两个资源：CodecArena-1K和CodecArena-Bench，实验结果表明，CodecArena在多种编码器和比特率下与人类判断的符合度达到了最先进水平。

🔬 方法详解

问题定义：本文旨在解决现有视频编码质量评估方法无法准确反映内容真实度的问题，现有方法往往只关注特征和纹理的相似性，导致评估结果不可靠。

核心思路：提出CodecArena，通过源条件比较推理将编码器评估转化为对比任务，结合视觉-语言框架和强化学习，确保评估结果的多维度真实度。

技术框架：CodecArena的整体架构包括数据集构建、模型训练和评估三个主要阶段。首先，构建包含多种编码器重建的偏好数据集；其次，使用Facet-GRPO进行模型训练；最后，通过人类评估进行结果验证。

关键创新：最重要的创新在于引入了Facet-GRPO视觉强化学习方案，通过五个真实度维度的奖励机制，避免单一子评分主导整体偏好，提升了评估的可解释性。

关键设计：在设计中，采用自动生成的维度方向作为弱锚点，而非依赖人工标注，确保了评估的客观性和多样性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，CodecArena在源不重叠内容上与人类判断的符合度达到了最先进水平，超越了传统的感知指标和先前的视觉-语言评估器，显示出显著的性能提升。具体而言，CodecArena在多种编码器和比特率下均表现优异，证明了其有效性。

🎯 应用场景

CodecArena的研究成果可广泛应用于视频编码领域，尤其是在低比特率视频传输和存储的场景中。其准确的质量评估能力将有助于优化编码器设计，提高视频内容的传输效率和用户体验。此外，该方法的框架也可扩展到其他多模态内容的质量评估任务中，具有重要的实际价值和未来影响。

📄 摘要（原文）

Video coding is advancing into the low and ultra-low bitrate regime, driven by end-to-end codecs that replace the hand-crafted pipeline with jointly optimized neural networks and generative codecs that exploit the priors of video generation models. Yet the dominant metrics, LPIPS and DISTS, measure feature and texture similarity rather than content fidelity: a reconstruction that hallucinates a wrong face or blurs text into convincing strokes can still score well, even when a human rejects it instantly. To address this, we propose CodecArena, the first vision-language framework for video coding quality assessment, casting codec evaluation as source-conditioned comparative reasoning between a reference and its reconstructions. We optimize CodecArena with Facet-GRPO, a visual reinforcement learning scheme that aligns pairwise codec preferences while grounding the verdict in five fidelity facets: identity, objects, text, texture, and temporal consistency. Its facet-anchored reward uses automatically derived facet directions as weak anchors, rather than human per-facet labels, to prevent any single sub-score from dominating the holistic preference and to yield interpretable fine-grained quality judgments. To support training and evaluation in this underexplored regime, we construct two complementary resources: CodecArena-1K, a fully automatic preference dataset of 1,500 comparison groups built from traditional, neural, and generative codec reconstructions with fused vision-language and objective supervision; and CodecArena-Bench, a human-ranked benchmark with source-disjoint videos for fair out-of-domain evaluation. Extensive experiments demonstrate that CodecArena achieves state-of-the-art agreement with human judgments on source-disjoint content across diverse codecs and bitrates, surpassing perceptual metrics and prior vision-language evaluators.