TransportationGames: Benchmarking Transportation Knowledge of (Multimodal) Large Language Models

📄 arXiv: 2401.04471v1 📥 PDF

作者: Xue Zhang, Xiangyu Shi, Xinyue Lou, Rui Qi, Yufeng Chen, Jinan Xu, Wenjuan Han

分类: cs.CL

发布日期: 2024-01-09

备注: Work in Progress

💡 一句话要点

提出TransportationGames以评估多模态大语言模型的交通知识

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 交通知识 大型语言模型 多模态学习 评估基准 布鲁姆分类法 智能交通 模型评估

📋 核心要点

  1. 当前缺乏针对交通领域的评估基准，无法准确衡量（M）LLMs的交通知识掌握情况。
  2. 提出TransportationGames基准，通过设计多样化任务评估（M）LLMs在交通知识的记忆、理解和应用能力。
  3. 实验结果显示，尽管部分模型在特定任务中表现良好，但整体性能仍有待提升，显示出未来研究的潜力。

📝 摘要（中文）

大型语言模型（LLMs）和多模态大型语言模型（MLLMs）在多个专业领域展现了卓越的通用能力，尤其是在交通领域。然而，目前尚不清楚这些模型在交通知识方面的掌握程度及其在相关任务中的可靠性。为此，本文提出了TransportationGames，一个全面评估（M）LLMs在交通领域表现的基准。通过参考布鲁姆分类法的前三个层次，本文测试了多种（M）LLMs在记忆、理解和应用交通知识方面的表现。实验结果表明，尽管部分模型在某些任务中表现良好，但整体上仍有很大的提升空间。希望TransportationGames的发布能够为未来研究奠定基础，加速（M）LLMs在交通领域的应用。

🔬 方法详解

问题定义：本文旨在解决当前缺乏有效评估（M）LLMs在交通领域知识掌握情况的问题。现有方法未能全面考量模型在交通相关任务中的表现，导致评估结果不够准确。

核心思路：通过设计TransportationGames基准，综合考虑真实场景中的应用，评估（M）LLMs在交通知识的记忆、理解和应用能力，确保评估的全面性和准确性。

技术框架：TransportationGames的整体架构包括任务设计、模型评估和结果分析三个主要模块。任务设计基于布鲁姆分类法，涵盖不同层次的知识应用。

关键创新：TransportationGames的最大创新在于其针对交通领域的专门设计，填补了现有评估基准的空白，提供了更具针对性的评估方法。

关键设计：在任务设计中，选择了多种交通相关的场景和问题，确保覆盖交通知识的各个方面。评估过程中，采用了标准化的评分机制，以确保结果的可比性和可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，尽管某些（M）LLMs在特定任务中表现出色，但整体性能仍有待提升。具体而言，部分模型在记忆和理解任务中得分较高，但在实际应用能力上仍存在显著差距，显示出未来改进的空间。

🎯 应用场景

TransportationGames的研究成果可广泛应用于交通管理、智能交通系统和自动驾驶等领域。通过评估（M）LLMs在交通知识方面的能力，可以为相关技术的开发和优化提供重要参考，推动智能交通技术的进步与应用。

📄 摘要（原文）

Large language models (LLMs) and multimodal large language models (MLLMs) have shown excellent general capabilities, even exhibiting adaptability in many professional domains such as law, economics, transportation, and medicine. Currently, many domain-specific benchmarks have been proposed to verify the performance of (M)LLMs in specific fields. Among various domains, transportation plays a crucial role in modern society as it impacts the economy, the environment, and the quality of life for billions of people. However, it is unclear how much traffic knowledge (M)LLMs possess and whether they can reliably perform transportation-related tasks. To address this gap, we propose TransportationGames, a carefully designed and thorough evaluation benchmark for assessing (M)LLMs in the transportation domain. By comprehensively considering the applications in real-world scenarios and referring to the first three levels in Bloom's Taxonomy, we test the performance of various (M)LLMs in memorizing, understanding, and applying transportation knowledge by the selected tasks. The experimental results show that although some models perform well in some tasks, there is still much room for improvement overall. We hope the release of TransportationGames can serve as a foundation for future research, thereby accelerating the implementation and application of (M)LLMs in the transportation domain.