Reasoning for Mobile User Experience with Multimodal LLMs: Task, Benchmark, and Approach
作者: Ruichao Mao, Zhou Fang, Teng Guo, Hao Yang, Yaping Li, Shaohua Peng, Maji Huang, Xiaoyu Lin, Shuoyang Liu, Xuepeng Li, Yuyu Zhang, Hai Rao
分类: cs.AI
发布日期: 2026-06-12
💡 一句话要点
提出UXBench基准以提升多模态大语言模型的用户体验评估能力
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 用户体验 多模态大语言模型 用户界面推理 基准评估 强化学习
📋 核心要点
- 现有的多模态大语言模型在用户界面推理能力上存在显著不足，尤其是在基于UI截图的用户体验评估方面。
- 本文提出了UXBench基准，包含2000个VQA样本，旨在评估MLLMs在UI基础推理中的表现，并引入UI-UX模型以提升推理能力。
- 实验结果显示，UI-UX在UXBench上取得了0.7963的准确率，显著超过了现有基线，展现了更强的泛化能力和低延迟特性。
📝 摘要（中文）
以用户体验（UX）为中心的可用性、感知一致性和功能清晰度是现实世界用户界面的基础。多模态大语言模型（MLLMs）在用户界面领域的应用正在迅速发展，但基于UI截图评估UX的研究仍不成熟。为此，本文提出了UXBench，一个包含2000个VQA数据样本的新型多模态基准，旨在评估MLLMs在UI基础推理方面的能力。UXBench包括8个基于真实UI截图的任务，要求对UX问题进行细致诊断。我们的评估显示，主流MLLMs在UI基础推理能力上仍然存在根本性限制。为弥补这一差距，我们提出了基于Qwen3-VL-4B-Thinking基础模型的UI-UX，并通过强化学习增强，具有动态平衡感知理解与逻辑推理的奖励路由机制和抑制冗余推理步骤的非对称转移奖励。实验表明，UI-UX在UXBench上达到了0.7963的准确率，超越了Claude-4.5-Sonnet的0.6550，并在多样化UI任务中展现出强大的泛化能力和低推理延迟。
🔬 方法详解
问题定义：本文旨在解决现有多模态大语言模型在用户界面推理能力不足的问题，尤其是在基于UI截图的用户体验评估方面，现有方法缺乏有效的评估基准和模型能力。
核心思路：提出UXBench基准以评估MLLMs在UI推理中的表现，并设计UI-UX模型，通过强化学习提升其推理能力，特别是在感知理解与逻辑推理的平衡上。
技术框架：整体架构包括UXBench基准的构建、UI-UX模型的设计与训练，主要模块包括数据采集、任务设计、模型训练和评估。
关键创新：引入了动态奖励路由机制和非对称转移奖励，前者在推理过程中平衡感知与逻辑，后者则抑制冗余推理步骤，这些创新使得模型在推理效率和准确性上有显著提升。
关键设计：在模型设计中，采用了Qwen3-VL-4B-Thinking基础模型，并通过强化学习优化了损失函数和奖励机制，以确保模型在多样化UI任务中的高效表现。
🖼️ 关键图片
📊 实验亮点
实验结果显示，UI-UX在UXBench基准上达到了0.7963的准确率，显著超越了Claude-4.5-Sonnet的0.6550，展现了在多样化UI任务中的强泛化能力和低推理延迟，标志着在用户体验评估领域的重大进展。
🎯 应用场景
该研究的潜在应用领域包括用户界面设计、智能助手和交互式系统等。通过提升多模态大语言模型在用户体验评估中的能力，可以为设计师提供更精准的反馈，进而改善用户界面设计的质量和效率，具有重要的实际价值和未来影响。
📄 摘要（原文）
User experience (UX) centered on usability, perceived consistency, and functional clarity is fundamental to real-world user interfaces (UI). The application ofmultimodal large language models (MLLMs) in the field of user interfaces is evolving rapidly, such as visual element grounding, graphical user interface (GUI)agents, and design-to-code generation. However, research efforts on evaluating UX based on UI screenshots are still immature. To address this, we propose UXBench,a novel multimodal benchmark consisting of 2,000 VQA data samples designed to assess MLLMs' ability to perform UI-based reasoning. UXBench includes 8 tasks basedon real-world UI screenshots that require fine-grained diagnosis of UX issues across layout relationships, visual hierarchy, and content consistency. Ourextensive evaluation of mainstream MLLMs shows that they remain fundamentally limited in their capacity for UI-based reasoning. The results underscore the needfor further advancements in this area. To bridge this gap, we propose UI-UX, an MLLM based on Qwen3-VL-4B-Thinking foundation model and enhanced via reinforcementlearning with two key innovations: a reward routing mechanism that dynamically balances perceptual understanding and logical reasoning during inference, and anasymmetric transition reward that suppresses redundant or insufficient reasoning steps. Experiments demonstrate that UI-UX achieves state-of-the-art (SOTA)performance on UXBench, attaining an accuracy of 0.7963 -- surpassing Claude-4.5-Sonnet's 0.6550 -- while exhibiting strong generalization across diverse UI tasksand maintaining low inference latency.