Automated Data Visualization from Natural Language via Large Language Models: An Exploratory Study

📄 arXiv: 2404.17136v1 📥 PDF

作者: Yang Wu, Yao Wan, Hongyu Zhang, Yulei Sui, Wucai Wei, Wei Zhao, Guandong Xu, Hai Jin

分类: cs.DB, cs.AI, cs.CL

发布日期: 2024-04-26

DOI: 10.1145/3654992

💡 一句话要点

利用大语言模型实现自然语言到可视化的自动化转换

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自然语言处理 数据可视化 大语言模型 深度学习 机器学习 上下文学习 表格数据 自动化

📋 核心要点

  1. 现有的NL2Vis方法在处理未见数据库或跨多个表的数据时仍存在显著挑战，限制了其应用范围。
  2. 本文提出通过将结构化表格数据转化为文本提示，利用大语言模型生成可视化，探索上下文学习的有效性。
  3. 实验结果显示，LLMs在NL2Vis基准测试中超越了现有方法，推理模型在某些情况下表现优于微调模型，验证了迭代更新策略的有效性。

📝 摘要（中文）

自然语言到可视化（NL2Vis）任务旨在将自然语言描述转化为可视化表示，以便用户从大量数据中获取洞察。尽管已有多种基于深度学习的方法被提出，但在处理来自未见数据库或跨多个表的数据时仍面临挑战。本文通过实证研究评估大语言模型（LLMs）在生成可视化方面的潜力，并探讨上下文学习提示的有效性。研究发现，将结构化表格数据转化为文本提示是有效的，并且在制定提示时考虑表格模式至关重要。实验结果表明，LLMs在NL2Vis基准测试中表现优于现有方法，尤其是在提供少量示例的情况下，推理模型的表现甚至超过了微调模型。最后，本文提出通过链式思维、角色扮演和代码解释等策略迭代更新结果，以提高NL2Vis的效果。

🔬 方法详解

问题定义：本文旨在解决自然语言到可视化（NL2Vis）任务中的数据可视化问题，尤其是在处理来自未见数据库或跨多个表的数据时，现有方法的效果不理想。

核心思路：通过将结构化表格数据转化为文本提示，利用大语言模型（LLMs）生成可视化，探索上下文学习提示的有效性，以提高NL2Vis的准确性和效率。

技术框架：整体架构包括数据预处理、提示生成、模型推理和结果可视化四个主要模块。首先，将表格数据转化为适合LLMs的文本格式，然后输入模型进行推理，最后将生成的结果进行可视化展示。

关键创新：本文的主要创新在于利用大语言模型的生成能力，并通过上下文学习提示来增强NL2Vis任务的效果。这一方法与传统的深度学习方法相比，能够更好地处理复杂的表格数据和多样的可视化需求。

关键设计：在提示生成过程中，考虑了表格模式的设计，以确保生成的文本提示能够有效反映表格内容。此外，实验中对比了微调模型和推理模型的性能，发现推理模型在某些情况下表现更佳。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLMs在NL2Vis基准测试中超越了现有的最先进方法，推理模型在某些情况下的表现甚至超过了微调模型，验证了上下文学习的有效性。具体而言，推理模型在提供少量示例时，性能提升显著，展示了其在实际应用中的潜力。

🎯 应用场景

该研究的潜在应用领域包括商业智能、数据分析和科学研究等，能够帮助用户更直观地理解和分析复杂数据。通过自动化生成可视化，用户可以更快速地获得洞察，提升决策效率。未来，该方法有望在更多领域推广应用，推动数据可视化技术的发展。

📄 摘要（原文）

The Natural Language to Visualization (NL2Vis) task aims to transform natural-language descriptions into visual representations for a grounded table, enabling users to gain insights from vast amounts of data. Recently, many deep learning-based approaches have been developed for NL2Vis. Despite the considerable efforts made by these approaches, challenges persist in visualizing data sourced from unseen databases or spanning multiple tables. Taking inspiration from the remarkable generation capabilities of Large Language Models (LLMs), this paper conducts an empirical study to evaluate their potential in generating visualizations, and explore the effectiveness of in-context learning prompts for enhancing this task. In particular, we first explore the ways of transforming structured tabular data into sequential text prompts, as to feed them into LLMs and analyze which table content contributes most to the NL2Vis. Our findings suggest that transforming structured tabular data into programs is effective, and it is essential to consider the table schema when formulating prompts. Furthermore, we evaluate two types of LLMs: finetuned models (e.g., T5-Small) and inference-only models (e.g., GPT-3.5), against state-of-the-art methods, using the NL2Vis benchmarks (i.e., nvBench). The experimental results reveal that LLMs outperform baselines, with inference-only models consistently exhibiting performance improvements, at times even surpassing fine-tuned models when provided with certain few-shot demonstrations through in-context learning. Finally, we analyze when the LLMs fail in NL2Vis, and propose to iteratively update the results using strategies such as chain-of-thought, role-playing, and code-interpreter. The experimental results confirm the efficacy of iterative updates and hold great potential for future study.