LiveEvalBench: Toward Open-World Evaluation for Web Generation
作者: Yiyao Wang, Zhen Wen, Yinghao Tang, Yixiao Fu, Lin Yuan, Xiaolau Zhang, Jun Zhou, Wei Chen
分类: cs.AI, cs.SE
发布日期: 2026-08-04
🔗 代码/项目: GITHUB
💡 一句话要点
提出LiveEvalBench以解决前端生成评估的动态性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 网页生成 动态评估 前端开发 协作审查 适应性协议 大型语言模型 评估框架
📋 核心要点
- 现有的网页生成评估方法将其视为静态问题，无法适应前端工件的动态和多样性特征。
- 本文提出LiveEvalBench框架，通过协作审查工作流和适应性协议，重新定义网页生成评估过程。
- 实验结果显示，LiveEvalBench与人类专家的评判高度一致，并提供了对模型生成能力的细致分析。
📝 摘要（中文）
大型语言模型在合成可执行的前端项目方面越来越有能力，但现有基准仍将网页生成视为静态评估问题。本文提出LiveEvalBench，一个自动化框架，将网页生成评估重新定义为一个代理、适应性和可扩展的过程。该框架通过协作审查工作流，结合构建工程师、代码工程师和UI测试人员的角色，全面收集前端项目生命周期中的证据。为处理实现多样性，采用适应性协议，结合跨模型可比性的共享标准与针对每个工件的特定标准。实验表明，LiveEvalBench与人类专家判断高度一致，并提供了对前沿模型网页生成能力的细致洞察。
🔬 方法详解
问题定义：现有的网页生成评估方法往往忽视了前端工件的动态性和多样性，导致评估结果无法真实反映模型的实际能力。
核心思路：LiveEvalBench通过引入协作审查工作流，将评估过程视为一个动态的、适应性的过程，能够更好地适应前端项目的多样性和快速演变。
技术框架：该框架包括构建工程师、代码工程师和UI测试人员三个角色，协同工作以收集项目生命周期中的证据。评估过程分为部署、代码检查和浏览器交互等阶段。
关键创新：LiveEvalBench的创新在于其适应性协议，结合了共享评估标准与针对特定工件的评估标准，使得不同实现之间的比较成为可能。
关键设计：框架支持新评估角色和评估维度的增量集成，无需重新设计评估流程，提升了系统的灵活性和扩展性。具体参数设置和损失函数的设计尚未详细说明。
🖼️ 关键图片
📊 实验亮点
实验结果表明，LiveEvalBench与人类专家的评判高度一致，能够提供更细致的模型生成能力分析。具体性能数据和对比基线尚未披露，但实验显示其在多样性和动态评估方面的显著优势。
🎯 应用场景
LiveEvalBench框架可广泛应用于前端开发和评估领域，尤其适合需要快速迭代和多样化实现的项目。其动态评估能力将有助于提升大型语言模型在实际应用中的表现，推动前端生成技术的发展。
📄 摘要（原文）
Large language models are increasingly capable of synthesizing executable frontend projects, yet existing benchmarks still treat web generation as a static evaluation problem. We argue that frontend artifacts demand a different paradigm: they are interactive rather than static, admit diverse yet equally valid implementations, and evolve faster than rigid pipelines can accommodate. To address these gaps, we present LiveEvalBench, an automated framework that reformulates web-generation evaluation as an agentic, adaptive, and extensible process. LiveEvalBench instantiates evaluation as a collaborative review workflow, in which a Build Engineer, a Code Engineer, and a UI Tester collectively gather evidence across the full lifecycle of a frontend project, from deployment and code inspection to browser-based interaction. To handle implementation diversity, an adaptive protocol couples shared rubrics for cross-model comparability with implementation-grounded criteria tailored to each artifact. The framework further supports incremental integration of new evaluator roles and assessment dimensions without pipeline redesign. Experiments across diverse real-world web-generation scenarios show that LiveEvalBench aligns closely with human expert judgment and provides fine-grained insights into frontier models' web generation capabilities. Code is available at https://github.com/wyysteelhead/LiveEvalBench