AnchorScore: A CLIP-Based Diagnostic of MLLM Annotation Difficulty

📄 arXiv: 2608.16690v1 📥 PDF

作者: Yan Ma, Lizhuo Zhang

分类: cs.CV

发布日期: 2026-08-17

备注: 37 pages, 7 figures, 12 tables

💡 一句话要点

提出AnchorScore以解决MLLM注释难度评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 注释难度评估 AnchorScore CLIP 自动注释 教育数据分析 资源优化

📋 核心要点

  1. 现有的多模态大语言模型在不同类的注释准确率差异显著，评估过程耗时且成本高。
  2. 本文提出AnchorScore，利用AnchorProxy构建，提供一种低成本的先验信号来评估MLLM的注释难度。
  3. 实验结果表明，AnchorScore与每类的MLLM准确率有显著相关性，并在多个数据集上验证了其有效性。

📝 摘要（中文）

多模态大语言模型（MLLM）在自动注释中广泛应用，但其每类的准确率差异较大，评估成本高昂。本文提出AnchorScore，基于AnchorProxy构建，作为一种低成本的先验诊断工具，能够标记出MLLM最不可靠的注释类。通过对课堂行为数据的系统评估，AnchorScore与每类的MLLM准确率显著相关，且在斯坦福40动作数据集的独立复制中表现一致。该方法的实际应用包括混合CLIP/MLLM路由策略、困难类的提示消歧和人工验证的优先级预测。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型（MLLM）在不同类注释中的准确率差异及其评估成本高的问题。现有方法在评估MLLM的注释能力时，通常需要耗费大量时间和资源。

核心思路：论文提出AnchorScore，基于AnchorProxy构建，作为一种低成本的先验诊断工具，能够在评估前识别出MLLM最不可靠的注释类，从而优化评估资源的分配。

技术框架：AnchorScore的整体架构包括数据输入、AnchorProxy计算、类难度排名和结果输出四个主要模块。首先，通过CLIP模型对每个类进行零-shot准确率评估，然后生成类的难度排名。

关键创新：AnchorScore的主要创新在于其提供了一种低成本的类难度评估方法，与现有的复杂评估流程相比，显著降低了资源消耗，同时保持了较高的准确性。

关键设计：在设计中，AnchorScore使用了Spearman相关系数来评估类难度与MLLM准确率之间的关系，确保了其在不同数据集上的一致性和可靠性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，AnchorScore与每类的MLLM准确率之间的Spearman相关系数为0.769（p = 0.002），在斯坦福40动作数据集上的相关系数达到0.817（p < 0.001）。此外，采用混合CLIP/MLLM路由策略可实现比仅使用CLIP高出23个百分点的准确率，同时节省约44%的MLLM成本。

🎯 应用场景

AnchorScore的潜在应用领域包括教育、医疗影像分析和卫星图像处理等。通过提供低成本的类难度评估，研究者和开发者可以更有效地分配资源，优化MLLM的应用效果，提升自动注释的准确性和效率。

📄 摘要（原文）

Multimodal large language models (MLLMs) are widely used for automated annotation, yet their per-class accuracy varies widely (e.g., 12%-98% across the 13 classes of three classroom sub-datasets) and is expensive to measure: evaluating one 27B MLLM on 5,416 validation images takes roughly 14 hours, whereas a frozen-CLIP pass over the same images completes in about 3 minutes. A low-cost signal for ranking classes by expected MLLM annotation difficulty a priori remains underexplored. Building on the AnchorProxy construct (per-class zero-shot CLIP accuracy) introduced in the companion study, this paper systematically evaluates its full-frame formulation, termed AnchorScore here, as an a priori diagnostic that flags the classes MLLMs are least likely to annotate reliably. On classroom behavior data (SCB5, 13 classes, 6 MLLMs), AnchorScore correlates with per-class MLLM accuracy (Spearman rho = 0.769, p = 0.002, n = 13). None of the alternative difficulty predictors (DINOv2, ResNet-50, SigLIP, or MLLM self-verbalized uncertainty) showed a significant class-level correlation at n = 13. A cross-model consensus control suggests AnchorScore primarily captures a shared class-difficulty factor rather than a CLIP-specific signal. An independent replication on Stanford40 Actions yields a nearly identical effect (rho = 0.817, p < 0.001); the association is strongest on activity-recognition data and attenuates on medical and satellite imagery. Three practical applications follow: a deployable hybrid CLIP/MLLM routing strategy (predicted-class routing: up to +23 pp over CLIP-only at roughly 44% MLLM cost savings), prompt disambiguation on hard classes (exploratory), and review-priority prediction for human verification. AnchorScore does not estimate exact MLLM accuracy; it provides a low-cost ranking signal that directs expensive MLLM evaluation to the classes where it is most informative.