Reasoning for Mobile User Experience with Multimodal LLMs: Task, Benchmark, and Approach

📄 arXiv: 2606.13192v1 📥 PDF

作者: Ruichao Mao, Zhou Fang, Teng Guo, Hao Yang, Yaping Li, Shaohua Peng, Maji Huang, Xiaoyu Lin, Shuoyang Liu, Xuepeng Li, Yuyu Zhang, Hai Rao

分类: cs.AI

发布日期: 2026-06-11

备注: 10 pages, 6 figures, Accepted at CVPR 2026 Findings

💡 一句话要点

提出UXBench以评估多模态大语言模型在用户体验中的推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 用户体验 多模态大语言模型 视觉问答 用户界面推理 强化学习 基准评估 智能助手 设计优化

📋 核心要点

  1. 现有的多模态大语言模型在用户界面推理能力上仍然有限，缺乏有效的评估标准和基准。
  2. 本文提出UXBench基准，包含2000个视觉问答样本，旨在评估MLLMs在用户界面推理中的表现。
  3. 实验结果表明，UI-UX模型在UXBench上达到了0.7963的准确率，显著优于现有模型，展现出良好的泛化能力。

📝 摘要（中文）

以用户体验（UX）为中心的可用性、感知一致性和功能清晰度是现实世界用户界面的基础。多模态大语言模型（MLLMs）在用户界面领域的应用正在迅速发展，但基于用户界面截图评估UX的研究仍不成熟。为此，本文提出了UXBench，一个包含2000个视觉问答（VQA）数据样本的新型多模态基准，旨在评估MLLMs在用户界面推理中的能力。UXBench包括8个基于真实UI截图的任务，要求对UX问题进行细致诊断。我们的评估显示，主流MLLMs在UI推理能力上仍然有限，强调了该领域进一步发展的必要性。为弥补这一差距，我们提出了基于Qwen3-VL-4B-Thinking基础模型的UI-UX，并通过强化学习增强，具有动态平衡感知理解和逻辑推理的奖励路由机制，以及抑制冗余或不足推理步骤的非对称转移奖励。实验表明，UI-UX在UXBench上达到了0.7963的准确率，超越了Claude-4.5-Sonnet的0.6550，并在多样化的UI任务中展现出强大的泛化能力和低推理延迟。

🔬 方法详解

问题定义：本文旨在解决现有多模态大语言模型在用户界面推理能力不足的问题，尤其是在基于UI截图的用户体验评估方面存在的挑战。现有方法缺乏有效的评估基准，导致推理能力的评估不够全面。

核心思路：论文提出了UXBench作为评估基准，并设计了UI-UX模型，通过强化学习和创新的奖励机制来提升模型的推理能力，旨在实现更准确的用户体验分析。

技术框架：整体架构包括UXBench基准的构建和UI-UX模型的设计。UXBench包含8个任务，针对真实UI截图进行细致的UX问题诊断。UI-UX模型基于Qwen3-VL-4B-Thinking基础模型，结合动态奖励路由机制和非对称转移奖励。

关键创新：最重要的技术创新在于引入了动态平衡感知理解与逻辑推理的奖励路由机制，以及抑制冗余推理步骤的非对称转移奖励，这些设计使得模型在推理过程中更为高效和准确。

关键设计：在模型设计中，采用了强化学习的策略来优化推理过程，设置了特定的损失函数以平衡感知与逻辑推理的权重，同时在网络结构上进行了优化，以提高推理速度和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，UI-UX模型在UXBench上达到了0.7963的准确率，显著高于Claude-4.5-Sonnet的0.6550，展现出强大的泛化能力和低推理延迟。这一成果表明，所提出的方法在用户体验推理任务中具有明显的优势。

🎯 应用场景

该研究的潜在应用领域包括用户界面设计、用户体验评估和智能助手开发等。通过提升多模态大语言模型在用户体验推理方面的能力，可以为用户提供更为精准和个性化的交互体验，推动智能界面的发展。未来，该研究可能会影响更多行业的用户体验设计和评估标准。

📄 摘要（原文）

User experience (UX) centered on usability, perceived consistency, and functional clarity is fundamental to real-world user interfaces (UI). The application of multimodal large language models (MLLMs) in the field of user interfaces is evolving rapidly, such as visual element grounding, graphical user interface (GUI) agents, and design-to-code generation. However, research efforts on evaluating UX based on UI screenshots are still immature. To address this, we propose UXBench, a novel multimodal benchmark consisting of 2,000 VQA data samples designed to assess MLLMs' ability to perform UI-based reasoning. UXBench includes 8 tasks based on real-world UI screenshots that require fine-grained diagnosis of UX issues across layout relationships, visual hierarchy, and content consistency. Our extensive evaluation of mainstream MLLMs shows that they remain fundamentally limited in their capacity for UI-based reasoning. The results underscore the need for further advancements in this area. To bridge this gap, we propose UI-UX, an MLLM based on Qwen3-VL-4B-Thinking foundation model and enhanced via reinforcement learning with two key innovations: a reward routing mechanism that dynamically balances perceptual understanding and logical reasoning during inference, and an asymmetric transition reward that suppresses redundant or insufficient reasoning steps. Experiments demonstrate that UI-UX achieves state-of-the-art (SOTA) performance on UXBench, attaining an accuracy of 0.7963 -- surpassing Claude-4.5-Sonnet's 0.6550 -- while exhibiting strong generalization across diverse UI tasks and maintaining low inference latency.