Benchmarking color judgment in multimodal LLMs with CIE-computable ground truth

📄 arXiv: 2610.40212v1 📥 PDF

作者: Shuwei Yue, Kaida Xiao, Zhihua Wang, Qiao Chen

分类: cs.CV

发布日期: 2026-10-29

💡 一句话要点

提出基于CIE色彩标准的多模态LLM色彩判断基准

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大型语言模型 色彩判断 CIE色彩计量 图像质量评估 自动白平衡 肤色偏差 色温估计

📋 核心要点

  1. 现有的多模态大型语言模型在色彩判断方面的能力尚未经过充分的色彩计量真实值验证，存在可靠性不足的问题。
  2. 本文提出了基于CIE色彩计量框架的五项基准任务，以系统性地评估MLLM在色彩判断中的表现。
  3. 实验结果显示，闭合权重模型在CCT估计上表现优于开放权重模型，且在色彩判断的可靠性上仍需改进。

📝 摘要（中文）

多模态大型语言模型（MLLMs）现已被用作图像质量的零-shot 判断者，但其色彩判断很少与色彩计量的真实值进行测试。本文基于CIE色彩计量框架提出了五项基准任务，包括自动白平衡（AWB）对比判断、肤色偏差方向、色温（CCT）估计、CIE Delta E 2000对比排序以及在不同光照条件下的色彩命名。我们测试了八个MLLM模型，结果表明这些模型在粗略的AWB判断上表现良好，但在数值CCT估计和某些细微色差判断上仍显不足。对ColorChecker-24刺激的测试显示，三种闭合权重模型的CCT平均绝对误差（MAE）为715-1056 K，而五种开放权重模型为1358-2133 K，表明当前的MLLM在色彩词汇和粗略视觉先验方面有用，但其色彩判断未能可靠地校准到CIE可计算的色彩差异。

🔬 方法详解

问题定义：本文旨在解决多模态大型语言模型在色彩判断中的可靠性不足，尤其是缺乏与色彩计量真实值的对比测试。现有方法在细微色差和数值CCT估计上表现不佳。

核心思路：通过构建基于CIE色彩计量框架的五项基准任务，系统评估不同MLLM在色彩判断中的能力，提供更为准确的性能指标。

技术框架：整体框架包括五个主要任务：AWB对比判断、肤色偏差方向、CCT估计、CIE Delta E 2000对比排序和在不同光照条件下的色彩命名。每个任务都针对特定的色彩判断能力进行设计。

关键创新：本文的创新在于将CIE色彩计量标准引入到多模态LLM的评估中，提供了一个系统化的基准测试框架，与传统的评估方法相比，更加注重色彩判断的准确性和可靠性。

关键设计：在实验中，采用了不同的模型变体，包括Qwen3-VL、GLM-4.5V、GPT-5.4等，设置了不同的权重策略，并通过ColorChecker-24刺激进行测试，确保了评估的全面性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，闭合权重模型在CCT估计上取得了715-1056 K的平均绝对误差（MAE），而开放权重模型则为1358-2133 K，表明闭合权重模型在色彩判断上具有明显优势，但整体表现仍需进一步提升。

🎯 应用场景

该研究的潜在应用领域包括图像处理、计算机视觉、自动化设计等，能够为图像质量评估和色彩管理提供更为可靠的工具。随着多模态模型的广泛应用，提升其色彩判断能力将对相关行业产生深远影响。

📄 摘要（原文）

Multimodal large language models (MLLMs) are now used as zero-shot judges of image quality, but their color judgments are rarely tested with colorimetric ground truth. We present a five-task benchmark based on the CIE colorimetric framework: AWB pair judgment, skin-tone bias direction, CCT estimation, CIE Delta E 2000 pair ordering, and color naming under changing illuminants. We test eight MLLM endpoints, including four Qwen3-VL variants, GLM-4.5V, GPT-5.4, Claude-Opus-4.7, and Gemini-3.1-Pro. The models often solve coarse binary AWB judgments, but they remain weak on numeric CCT estimation and on some fine color-difference judgments. On ColorChecker-24 stimuli, the three closed-weight frontier models reach CCT MAE of 715-1056 K, compared with 1358-2133 K for the five open-weight models. A non-ColorChecker control shows that this advantage is partly template-dependent. The results suggest that current MLLMs have useful color words and coarse visual priors, but their color judgments are not reliably calibrated to CIE-computable color differences.