Distortions in Judged Spatial Relations in Large Language Models

📄 arXiv: 2401.04218v2 📥 PDF

作者: Nir Fulman, Abdulkadir Memduhoğlu, Alexander Zipf

分类: cs.CL

发布日期: 2024-01-08 (更新: 2024-06-04)

备注: This manuscript has been accepted for publication in The Professional Geographer

💡 一句话要点

提出基准测试评估大型语言模型的空间关系判断能力

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 空间关系 层次偏见 地理信息 模型评估

📋 核心要点

  1. 现有大型语言模型在判断地理位置间的空间关系时，存在层次偏见，影响其准确性。
  2. 本文提出了一种基准测试，专注于评估LLMs在空间关系判断中的表现，特别是层次影响。
  3. 实验结果显示，GPT-4在空间关系判断中表现最佳，但在层次偏见任务中的准确率显著下降。

📝 摘要（中文）

本文提出了一种基准测试，用于评估大型语言模型（LLMs）在识别地理位置之间的间接方向的能力，并将其应用于三种主流LLMs：GPT-3.5、GPT-4和Llama-2。该基准测试特别评估LLMs是否表现出类似于人类的层次空间偏见，即对个别位置空间关系的判断受到包含它们的更大群体的感知关系的影响。我们设计了14个问题，聚焦于知名的美国城市，其中七个问题挑战LLMs在可能受到更大地理单元（如州或国家）方向影响的场景下的表现，另外七个问题则针对不易受到此类层次分类影响的位置。测试结果显示，GPT-4的表现最佳，准确率为55%，其次是GPT-3.5的47%和Llama-2的45%。在存在层次偏见的任务中，模型的准确率显著降低，GPT-4在这些任务中的准确率降至33%。尽管如此，模型在大多数情况下仍能识别出最近的方位，反映出其联想学习机制，体现出人类式的误解。我们讨论了提升LLMs空间推理能力的途径。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在判断地理位置间空间关系时的层次偏见问题。现有方法未能有效评估模型在此类判断中的准确性和偏见。

核心思路：通过设计14个问题，分别考察模型在受层次影响和不受层次影响的空间关系判断中的表现，以此评估其空间推理能力。

技术框架：整体架构包括问题设计、模型评估和结果分析三个主要模块。问题设计阶段聚焦于知名城市，评估阶段使用三种主流LLMs进行测试，结果分析则比较不同模型的表现。

关键创新：最重要的创新在于提出了针对空间关系判断的基准测试，揭示了LLMs在层次偏见下的表现差异，与传统评估方法相比，提供了更深入的理解。

关键设计：设计中包含了14个问题，其中7个问题专门针对可能受层次影响的场景，另外7个问题则为不易受影响的场景，以此确保评估的全面性和准确性。

📊 实验亮点

实验结果显示，GPT-4在空间关系判断中的准确率为55%，在层次偏见任务中的准确率降至33%。相比之下，GPT-3.5和Llama-2的表现分别为47%和45%。此结果突显了模型在不同任务中的表现差异，反映出层次偏见对判断准确性的影响。

🎯 应用场景

该研究的潜在应用领域包括地理信息系统、智能助手和教育工具等。通过提升大型语言模型的空间推理能力，可以增强其在处理地理相关任务时的准确性和可靠性，进而推动相关领域的技术进步。

📄 摘要（原文）

We present a benchmark for assessing the capability of Large Language Models (LLMs) to discern intercardinal directions between geographic locations and apply it to three prominent LLMs: GPT-3.5, GPT-4, and Llama-2. This benchmark specifically evaluates whether LLMs exhibit a hierarchical spatial bias similar to humans, where judgments about individual locations' spatial relationships are influenced by the perceived relationships of the larger groups that contain them. To investigate this, we formulated 14 questions focusing on well-known American cities. Seven questions were designed to challenge the LLMs with scenarios potentially influenced by the orientation of larger geographical units, such as states or countries, while the remaining seven targeted locations were less susceptible to such hierarchical categorization. Among the tested models, GPT-4 exhibited superior performance with 55 percent accuracy, followed by GPT-3.5 at 47 percent, and Llama-2 at 45 percent. The models showed significantly reduced accuracy on tasks with suspected hierarchical bias. For example, GPT-4's accuracy dropped to 33 percent on these tasks, compared to 86 percent on others. However, the models identified the nearest cardinal direction in most cases, reflecting their associative learning mechanism, thereby embodying human-like misconceptions. We discuss avenues for improving the spatial reasoning capabilities of LLMs.