Each Judge Its Own Yardstick: Discovering Per-VLM Taxonomies for Physical Video Evaluation

📄 arXiv: 2606.22918v1 📥 PDF

作者: Yu Cao, Ziquan Liu, Zhensong Zhang, Jiankang Deng, Shaogang Gong, Jifei Song

分类: cs.CV, cs.GT

发布日期: 2026-06-22

💡 一句话要点

提出JudgeFit以解决VLM评估一致性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视觉-语言模型 物理一致性 评估分类法 迭代精炼 模型特定盲点 多模态学习 视频生成

📋 核心要点

  1. 现有的VLM评估方法未能考虑不同模型的特定能力，导致评估结果不够准确。
  2. 本文提出JudgeFit，通过迭代过程为每个VLM发现专属的评估分类法，从而提高评估的准确性。
  3. 实验结果表明，精炼后的分类法在16个VLM的测试中，平均提升了约32%的性能，揭示了模型特定的盲点。

📝 摘要（中文）

在视频生成和世界模型中，物理一致性的维护越来越依赖于视觉-语言模型（VLM）作为自动化评估者，提供奖励信号、排名决策和数据过滤标准。然而，VLM在训练数据和架构上存在显著差异，导致它们对物理现象的内部表示各不相同。本文提出JudgeFit，一种迭代精炼程序，旨在发现针对每个VLM的评估分类法。通过提示目标VLM列举视频中的物理错误并对描述进行聚类，构建初始分类法。随后，通过校准和诊断步骤对分类法进行精炼，最终在16个VLM上进行基准测试，结果显示精炼后的分类法在每个VLM的持出视频上均优于全局基线，平均提升约32%。

🔬 方法详解

问题定义：本文旨在解决现有VLM评估方法的不足，特别是单一全局评估框架无法反映不同模型的特定能力和表现差异。

核心思路：提出JudgeFit，通过迭代精炼过程，针对每个VLM构建专属的评估分类法，以更准确地反映其物理一致性能力。

技术框架：整体流程包括初始分类法构建、维度评分校准、诊断和修复步骤，最终迭代至收敛。初始分类法通过提示VLM列举物理错误并聚类生成，后续步骤则通过与人类评分的对比进行精炼。

关键创新：JudgeFit的核心创新在于为每个VLM量身定制评估分类法，克服了全局评估方法的局限性，能够揭示模型特定的盲点和不可靠评分。

关键设计：在设计中，采用了聚类算法对初始错误描述进行分类，使用人类评分进行维度校准，并通过大型语言模型（LLM）修复不可靠的评分，确保每个维度的准确性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，精炼后的分类法在每个VLM的持出视频上均优于全局基线，平均提升约32%。此外，模型特定的评估结果揭示了不同模型之间的盲点和可靠性模式的显著差异，提供了更深入的理解。

🎯 应用场景

该研究的潜在应用领域包括视频生成、自动化评估系统和多模态学习等。通过为不同VLM提供专属的评估标准，能够显著提高物理一致性评估的准确性，推动相关技术在实际应用中的发展与落地。

📄 摘要（原文）

Maintaining physical consistency in video generators and world models increasingly relies on vision-language models (VLMs) as automated judges that provide reward signals, ranking decisions, and data-filtering criteria. Yet VLMs differ substantially in training data and architecture, encoding physical phenomena through distinct internal representations. A single global evaluation schema therefore gives every VLM the same axes of competence, regardless of what each can actually perceive. We propose JudgeFit, an iterative refinement procedure that discovers a per-VLM evaluation taxonomy. An initial taxonomy is constructed by prompting the target VLM to enumerate physics errors on a small set of videos and clustering the resulting descriptions. The taxonomy is then refined through a diagnostic step: we calibrate the VLM's per-dimension scores to human physical-commonsense ratings, diagnose which dimensions it scores unreliably or redundantly, and prompt an LLM to repair them, iterating until convergence. We further instantiate this procedure as a benchmark and apply it to 16 VLMs spanning eight model families. The refined taxonomy outperforms the global-schema baseline on held-out videos for every VLM tested, with a mean relative improvement of approximately 32%. Beyond aggregate accuracy, the per-VLM profiles expose model-specific blind spots that overall rankings cannot anticipate, with reliability patterns differing markedly across model families.