HarnessEval-W: Agentifying the Evaluation of Visual Worlds
作者: Weiliang Chen, Haowen Sun, Jun Gao, Jiawei Chi, Hanyang Wang, Qiyu Dai, Yihao Li, Hao Li, Jingnan Gao, Yi-Hsin Hung, Xingzhuo Guo, Shangchen Miao, Zhiyuan Shi, Xiang Li, Fengrui Tian, Weihua Du, Ziqi Huang, Shenyuan Gao, Siqiao Huang, Mingyu Liu, Yifei Li, Shizun Wang, Xi Wang, Tianqi Zhang, Xue Luo, Xiyin Ren, Jinshan Ren, Xiaoyang Shen, Xiaobo Hu, Zhiyang Dou, Mingyu Ding, Yichao Yan, Xinchao Wang, Yizhou Wang, Shilong Liu, Wenzhao Zheng, Yueqi Duan, Yuan Gong, Ziwei Liu, Ming-Yu Liu, Jialong Wu, Jiangran Lyu, Fangfu Liu
分类: cs.CV
发布日期: 2026-08-17
备注: Project Page: https://mirros-lab.github.io/HarnessEval-W
💡 一句话要点
提出HarnessEval-W以解决视觉世界评估的信任性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 视觉世界评估 代理化评估 世界模型 可解释性 透明性 细致诊断 开源
📋 核心要点
- 现有评估基准缺乏自动化推理能力，无法提供可信的评估依据，导致评估结果的透明性不足。
- HarnessEval-W通过将评估问题分解为子问题，并为每个子问题生成专门的代理，提供了一种新的评估方法。
- 在330个评估案例中，HarnessEval-W的判断与人类偏好高度一致，且提供了可验证的细致诊断，显著提升了评估的透明度和可信度。
📝 摘要（中文）
评估基准不仅应提供一个标量分数，更应有合理的推理支持该分数的可信度。尤其在世界模型中，评估生成结果需要理解物理、因果关系和世界状态的演变。现有基准无法自动化这一能力，评估过程缺乏可验证的推理链。为此，本文提出了HarnessEval-W，一个将大型语言模型（LLM）生态中的“哈希”范式引入世界模型评估的代理化评估管道。HarnessEval-W通过解析每个评估案例的上下文，将评估问题分解为可测量的子问题，并生成专门的子代理，利用定制的上下文和诊断工具进行推理。最终，父代理验证收集的证据并总结出最终判决。我们在18个代表性世界模型上应用HarnessEval-W，结果与人类偏好高度一致，同时提供了每个生成结果的可验证、细致的诊断。我们将完整的管道开源，邀请社区共同贡献新技能和评估案例。
🔬 方法详解
问题定义：本文旨在解决现有世界模型评估方法缺乏自动化推理能力的问题，导致评估结果的透明性和可信度不足。
核心思路：HarnessEval-W通过引入代理化评估的概念，解析评估问题并生成专门的子代理，利用定制的上下文进行推理，从而提升评估的可信度和透明性。
技术框架：整体架构包括父代理和多个子代理。父代理负责解析评估问题并验证证据，而子代理则针对具体子问题进行推理，形成一个透明的证据树。
关键创新：HarnessEval-W的最大创新在于其代理化评估机制，通过分解问题和生成专门代理，提供了可验证的推理链，与传统方法的直接评分方式有本质区别。
关键设计：在设计上，HarnessEval-W采用了定制的上下文和诊断工具，确保每个子代理能够有效地处理其特定子问题，提升了评估的细致程度和准确性。
🖼️ 关键图片
📊 实验亮点
在330个评估案例中，HarnessEval-W的评估结果与人类偏好高度一致，提供了可验证的细致诊断，显著提升了评估的透明度和可信度。与传统方法相比，HarnessEval-W在评估的准确性和可解释性上都有显著提升。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、虚拟现实和游戏开发等，能够为这些领域中的世界模型提供更为可信的评估机制。通过开源的评估管道，社区可以不断扩展评估案例和技能，推动世界模型的进一步发展。
📄 摘要（原文）
A benchmark should deliver more than a scalar score: what makes an evaluation trustworthy is the reasoning that justifies the score. This is especially critical for world models, where judging a rollout requires understanding whether physics, causality, and world state evolve correctly. Humans spot such violations naturally, yet no existing benchmark automates this capability: metrics are computed brute-force, leaving no reasoning chain that can be examined or verified. We introduce HarnessEval-W, an agentified evaluation pipeline that brings the harness paradigm from the LLM ecosystem to world model benchmarking. Rather than applying a fixed rubric, HarnessEval-W interprets the context of each evaluation case, decomposes the evaluation question into measurable subproblems, and spawns specialized sub-agents, each equipped with tailored context and diagnostic tools to reason over its own subproblem. The parent agent then validates the gathered evidence and summarizes it into the final verdict. This hierarchical workflow turns every evaluation into a transparent evidence tree whose complete reasoning chain justifies the result. We apply HarnessEval-W to 18 representative world models over 330 evaluation cases. Its judgments closely align with human preferences while providing verifiable, fine-grained diagnoses of every generated rollout. We open-source the full pipeline as a live benchmark and invite the broad community to contribute to grow new skills and evaluation cases as world models evolve.