Dashboard2Code: Evaluating Multimodal Models on Reconstructing Interactive Dashboards
作者: Tianhao Niu, Ziyu Han, Qiguang Chen, Shiqi Zhou, Baocai Shan, Hengjie Fang, Qingfu Zhu, Wanxiang Che
分类: cs.SE, cs.AI, cs.CV
发布日期: 2026-07-06
备注: Accepted to ACL2026 Main Conference
💡 一句话要点
提出Dashboard2Code以解决交互式仪表板生成问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 交互式仪表板 自动代码生成 多模态模型 数据可视化 用户交互 性能评估 机器学习 深度学习
📋 核心要点
- 现有方法主要集中于静态图表，缺乏对交互式仪表板的有效支持，导致在真实数据探索中应用受限。
- 本文提出Dashboard2Code任务，要求模型通过主动交互获取反馈并生成相应的代码，以重现交互式仪表板。
- 实验结果显示，尽管现有多模态模型表现良好，但在高复杂度仪表板上仍存在显著性能差距，尤其是开源与闭源模型之间。
📝 摘要（中文）
自动数据可视化生成在多模态大语言模型的推动下取得了快速进展，但现有研究主要集中于静态图表，忽视了在实际数据探索中常用的交互式仪表板。本文提出Dashboard2Code任务，要求模型主动探索交互式仪表板，获取并整合自身交互（如点击和过滤）反馈，生成重现目标仪表板的代码。为支持全面评估，本文推出DashboardMimic，这是第一个基于Plotly+Dash的Dashboard2Code基准，包含180对精心设计和手动验证的仪表板-代码对，涵盖三种难度级别和八种常见的现实交互模式。此外，本文还提出了一种自动评估框架，结合代码语义分析与动态交互测试，评估视觉和交互一致性，显示出与人类判断的强一致性。实验结果表明，即使是最强的系统在高复杂度仪表板上也面临挑战，开源与闭源模型在Dashboard2Code任务上的性能差距仍然显著。
🔬 方法详解
问题定义：本文旨在解决自动生成交互式仪表板代码的问题。现有方法多集中于静态图表，未能有效处理用户交互和动态反馈，限制了其在实际应用中的有效性。
核心思路：Dashboard2Code任务要求模型主动探索仪表板，通过交互获取反馈并生成代码。这种设计使得模型能够更好地理解用户需求和交互模式，从而生成更符合实际使用场景的代码。
技术框架：整体架构包括三个主要模块：交互式探索模块、反馈整合模块和代码生成模块。模型首先通过用户交互探索仪表板，然后整合交互反馈，最后生成相应的代码。
关键创新：最重要的创新在于引入了动态交互反馈机制，使得模型能够在生成代码的过程中实时调整，提升了生成代码的准确性和实用性。这与传统静态生成方法有本质区别。
关键设计：在技术细节上，本文采用了特定的损失函数来优化代码生成的准确性，并设计了适合交互式仪表板的网络结构，以支持复杂的用户交互模式。
🖼️ 关键图片
📊 实验亮点
实验结果表明，尽管现有多模态模型在Dashboard2Code任务上表现出色，但在高复杂度仪表板的生成上仍面临挑战。开源模型与闭源模型之间的性能差距显著，尤其在复杂交互模式下，闭源模型的表现优于开源模型，显示出进一步优化的空间。
🎯 应用场景
该研究的潜在应用领域包括商业智能、数据分析和可视化工具开发等。通过自动生成交互式仪表板代码，用户可以更高效地进行数据探索和决策支持，提升数据可视化的易用性和灵活性。未来，该技术可能推动更多智能化的数据分析工具的出现，进一步降低数据分析的门槛。
📄 摘要（原文）
Automatic data visualization generation has advanced rapidly with multi-modal large language models, yet existing efforts largely focus on static charts and overlook the interactive dashboards commonly used for real-world data exploration. We introduce Dashboard2Code, a novel task that requires a model to proactively explore an interactive dashboard, acquire and integrate feedback from its own interactions (e.g., clicking and filtering), and generate code that reproduces the target dashboard. To support comprehensive evaluation, we present DashboardMimic, the first Plotly+Dash benchmark for Dashboard2Code, comprising 180 carefully designed and manually verified dashboard-code pairs spanning three difficulty levels and covering eight common real-world interaction patterns. We further propose an automated evaluation framework tailored to dashboards that combines code semantic analysis with dynamic interaction-based testing to assess visual and interaction consistency, showing strong agreement with human judgments. Experiments across a range of open- and closed-source multi-modal models reveal that even the strongest systems struggle on high-complexity dashboards and that a substantial performance gap remains between open-source and closed-source models on the Dashboard2Code task.