UXBench: Measuring the Actionability of LLM-Generated UX Critiques
作者: Wenjie Wang, Yue Huang, Zipeng Ling, Han Bao, Hang hua, Xiaonan Luo, Yu Jiang, Shiyi Du, Yuexing Hao, Xiaomin Li, Yuchen Ma, Dianzhuo Wang, Yanfang Ye, Xiangliang Zhang
分类: cs.SE, cs.AI
发布日期: 2026-06-15
备注: 30 pages
💡 一句话要点
提出UXBench以评估LLM生成的用户体验批评的可操作性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 用户体验 大型语言模型 可操作性评估 交互证据 产品设计 结构化报告 基准测试
📋 核心要点
- 现有方法缺乏控制基准，无法有效衡量LLM生成的UX批评的可靠性和可操作性。
- 提出UXBench基准，通过本地可运行的网页组件和强制交互证据收集，评估LLM作为UX评估者的能力。
- 实验结果显示，模型在报告的可操作性、修复特征和可靠性上存在显著差异，表明UX评估的多维性。
📝 摘要（中文）
随着大型语言模型（LLMs）在用户体验（UX）评估中的应用日益增多，如何衡量其生成的批评是否可靠且可操作成为一个重要问题。本文提出了UXBench，一个用于评估LLM作为交互基础UX评估者的基准。UXBench包含十种产品表面的本地可运行的网页组件，并结合覆盖门控的浏览器探索，强制模型在报告之前收集交互证据。每个评估模型生成一个涵盖七个维度的结构化UX报告，报告质量通过固定的下游修复代理是否能基于批评改善界面来衡量。我们对八个前沿模型进行了自动修复提升协议和盲人验证研究的评估，结果表明UX评估并非饱和或单一维度，模型在报告的可操作性上存在显著差异。
🔬 方法详解
问题定义：本文旨在解决当前缺乏有效基准来评估LLM生成的用户体验批评的可靠性和可操作性的问题。现有方法未能充分考虑不同产品表面的多样性和交互证据的收集。
核心思路：UXBench通过结合本地可运行的网页组件和覆盖门控的浏览器探索，确保模型在生成批评之前收集必要的交互证据，从而提高批评的可靠性和可操作性。
技术框架：UXBench的整体架构包括多个模块：首先是本地可运行的网页组件，涵盖十种产品表面；其次是强制交互证据收集的浏览器探索；最后是生成结构化UX报告的评估模型。
关键创新：UXBench的主要创新在于其结合了交互证据收集与结构化报告生成的机制，显著提升了LLM在UX评估中的实用性和可靠性。这与现有方法的单一评估方式形成了鲜明对比。
关键设计：在设计上，UXBench设定了七个评估维度来生成结构化报告，并通过固定的下游修复代理来验证报告的质量。模型的评估过程包括自动修复提升协议和盲人验证研究，以确保结果的客观性和可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，UXBench能够有效区分不同模型在报告可操作性上的差异，且模型在不同产品表面上的表现存在显著变化。具体而言，某些模型在特定表面类别中表现出更高的修复能力，显示出模型在UX评估中的多维特性。
🎯 应用场景
UXBench的研究成果具有广泛的应用潜力，特别是在产品设计和用户体验优化领域。它可以帮助设计师和开发者更有效地识别和修复用户界面中的可用性问题，从而提升用户满意度和产品质量。未来，UXBench还可能推动LLM在其他领域的应用，如教育和医疗等需要用户交互的场景。
📄 摘要（原文）
Large language models (LLMs) are increasingly deployed as UX judges that inspect interfaces, diagnose usability problems, and propose repairs. Yet no controlled benchmark measures whether the resulting critiques are reliable and actionable across heterogeneous product surfaces. We introduce UXBench, a benchmark for evaluating LLMs as interaction-grounded UX judges. UXBench comprises local-first runnable web fixtures spanning ten product-surface families, paired with coverage-gated browser exploration that forces models to collect interaction evidence before reporting. Each judge model produces a structured UX report over seven rubric dimensions; report quality is measured by whether a fixed downstream repair agent can improve the interface based on the critique. We evaluate eight frontier models under both an automated repair-lift protocol and a blind human validation study. Results show that UX judging is neither saturated nor one dimensional: models differ meaningfully in report actionability, exhibit distinct rubric-level repair signatures, vary in fixture-level reliability, and trade leadership across surface categories