PerceptionRubrics: Calibrating Multimodal Evaluation to Human Perception
作者: Yana Wei, Hongbo Peng, Yanlin Lai, Liang Zhao, Kangheng Lin, En Yu, Keyu Lv, Han Zhou, Yin Tang, Haodong Li, Mitt Huang, Hangyu Guo, Jianjian Sun, Zheng Ge, Xiangyu Zhang, Daxin Jiang, Vishal M. Patel
分类: cs.CV
发布日期: 2026-06-26
备注: ICML 2026. Project page: https://weiyana.github.io/PerceptionRubrics
💡 一句话要点
提出PerceptionRubrics以解决多模态评估与人类感知之间的差距问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态评估 感知保真度 门控评分机制 原子审计 评估标准
📋 核心要点
- 现有方法在评估时往往依赖于整体语义匹配，导致与真实场景的表现不一致，存在脆弱性。
- 论文提出了PerceptionRubrics，通过严格的原子审计和双流评估标准，提升评估的准确性和可靠性。
- 实验结果显示，PerceptionRubrics在严格感知保真度上显著优于传统基准，揭示了开源与专有模型之间的感知差距。
📝 摘要（中文）
我们介绍了PerceptionRubrics，这是一种基于评估标准的框架，旨在解决饱和基准分数与现实世界脆弱性之间的差距。该框架将评估从整体语义匹配转向严格的原子审计，结合1038幅信息密集型图像与超过12000个特定实例的评估标准。这些标准源自通过新颖的循环同行评审共识流程构建的黄金标题，并被提炼为一个双流系统，包括Must-Right（基本事实）和Easy-Wrong（细粒度细节）评估标准。重要的是，PerceptionRubrics实现了一种门控评分机制：与线性平均不同，必需的视觉事实失败会触发严格的二元惩罚。广泛的评估提供了关键见解：模型在碎片化元素上通常验证正确，但在严格的联结约束上失败，揭示了密集领域的脆弱性。
🔬 方法详解
问题定义：论文要解决的具体问题是现有评估方法在真实场景中的脆弱性，尤其是基于整体语义匹配的评估无法反映模型在复杂任务中的真实表现。
核心思路：论文的核心解决思路是引入PerceptionRubrics框架，通过原子审计和双流评估标准，确保评估的严格性和准确性，从而更好地反映人类的感知能力。
技术框架：整体架构包括信息密集型图像与实例特定的评估标准的结合，采用Must-Right和Easy-Wrong两个评估流，形成一个双流系统。
关键创新：最重要的技术创新点在于门控评分机制，通过对必需视觉事实的严格要求，避免了线性平均带来的模糊性，确保了评估的严谨性。
关键设计：关键设计包括评估标准的构建过程，采用循环同行评审共识流程生成黄金标题，并通过严格的二元惩罚机制来处理评估结果。具体的参数设置和损失函数设计也为评估的准确性提供了保障。
🖼️ 关键图片
📊 实验亮点
实验结果表明，PerceptionRubrics在严格感知保真度方面显著优于传统基准，尤其是在开源与专有模型的比较中，发现存在8%的感知缺口，揭示了模型在复杂任务中的脆弱性。
🎯 应用场景
该研究的潜在应用领域包括计算机视觉、自然语言处理以及人机交互等领域，能够为多模态系统的评估提供更为准确和可靠的标准。未来，PerceptionRubrics可能会推动更高效的模型开发和评估流程，提升人工智能系统在实际应用中的表现。
📄 摘要（原文）
We introduce PerceptionRubrics, a rubric-based evaluation framework that addresses the gap between saturated benchmark scores and real-world brittleness. Shifting evaluation from holistic semantic matching to rigorous atomic auditing, PerceptionRubrics pairs 1,038 information-dense images with over 12,000 instance-specific rubrics. These criteria are derived from golden captions constructed via a novel Circular Peer-Review consensus pipeline and then distilled into a dual-stream system of Must-Right (essential facts) and Easy-Wrong (fine-grained details) rubrics. Crucially, PerceptionRubrics implements a Gated Scoring mechanism: unlike linear averages, failure on mandatory visual facts triggers sharp binary penalties. Extensive evaluation yields critical insights: (1) The Reliability Gap: models often verify fragmented elements correctly yet fail strict conjunctive constraints, exposing brittleness in dense domains; (2) Open-Closed Stratification: contrary to reasoning trends, we reveal a persistent 8% perception deficit between open-source and proprietary frontiers; and (3) Human-Aligned Rigor: our gated metrics substantially out-align conventional benchmarks, validating that strict perceptual fidelity is the prerequisite for reliable generation.