Do Large Language Models Solve ARC Visual Analogies Like People Do?

📄 arXiv: 2403.09734v2 📥 PDF

作者: Gustaw Opiełka, Hannes Rosenbusch, Veerle Vijverberg, Claire E. Stevenson

分类: cs.CL, cs.AI

发布日期: 2024-03-13 (更新: 2024-05-13)

备注: Changes (based on CogSci 2024 reviewers): - Shortened Intro - Added a table summarizing children performance across age - Added Theoretical discussion in the Discussion section - Corrected the naming of plots - Small clarifications in the Methods section

💡 一句话要点

比较大型语言模型与人类在视觉类比推理中的表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉类比推理 大型语言模型 人类认知 错误分析 抽象推理

📋 核心要点

  1. 现有的视觉类比推理方法在大型语言模型（LLM）与人类的比较中显示出LLM的表现普遍较差，尤其是在儿童友好的任务上。
  2. 论文通过引入新的儿童友好型ARC项目，探讨LLM与人类在视觉类比推理中的表现差异，分析其错误类型及原因。
  3. 实验结果表明，儿童和成人在视觉类比任务中优于大多数LLM，且错误分析揭示了相似的解决策略和不同的错误类型。

📝 摘要（中文）

本研究比较了人类与大型语言模型（LLM）在新儿童友好型抽象推理语料库（ARC）项目上的表现。结果表明，儿童和成人在这些任务中普遍优于大多数LLM。错误分析显示，LLM和幼儿采用了相似的“回退”解决策略，即简单复制类比的一部分。此外，我们发现了两种其他错误类型，一种是基于对关键概念的理解（如内外部），另一种是基于类比输入矩阵的简单组合。总体而言，人类更常见“概念”错误，而LLM则更常见“矩阵”错误。本研究为理解LLM的推理能力提供了新的视角，并探讨了通过错误分析与人类发展比较来理解LLM如何解决视觉类比的可能性。

🔬 方法详解

问题定义：本研究旨在解决大型语言模型（LLM）在视觉类比推理任务中表现不佳的问题，尤其是在与人类（儿童和成人）比较时的不足之处。现有方法未能充分揭示LLM的推理能力及其错误类型。

核心思路：论文通过设计新的儿童友好型ARC项目，比较人类与LLM在视觉类比推理中的表现，分析其错误类型，以此揭示LLM的推理机制和局限性。

技术框架：研究首先构建了一个新的ARC数据集，随后进行实验比较，最后通过错误分析总结LLM与人类的表现差异。主要模块包括数据集构建、实验设计、结果分析和错误类型分类。

关键创新：本研究的创新点在于通过儿童友好的ARC项目，系统性地比较了人类与LLM在视觉类比推理中的表现，并揭示了相似的解决策略和不同的错误类型，这为理解LLM的推理能力提供了新的视角。

关键设计：研究中采用了新的ARC数据集，设计了针对儿童的任务，并通过定量和定性分析相结合的方法，深入探讨了LLM与人类在推理过程中的错误类型及其原因。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，儿童和成人在视觉类比任务中普遍优于大多数LLM，尤其是在错误分析中发现，LLM的“矩阵”错误更为常见，而人类则更常见“概念”错误。这一发现为理解LLM的推理能力提供了新的视角。

🎯 应用场景

该研究的潜在应用领域包括教育技术、人工智能教育工具的开发以及人机交互系统的优化。通过深入理解LLM在视觉类比推理中的表现，可以为未来的智能系统设计提供指导，提升其在教育和认知任务中的有效性。

📄 摘要（原文）

The Abstraction Reasoning Corpus (ARC) is a visual analogical reasoning test designed for humans and machines (Chollet, 2019). We compared human and large language model (LLM) performance on a new child-friendly set of ARC items. Results show that both children and adults outperform most LLMs on these tasks. Error analysis revealed a similar "fallback" solution strategy in LLMs and young children, where part of the analogy is simply copied. In addition, we found two other error types, one based on seemingly grasping key concepts (e.g., Inside-Outside) and the other based on simple combinations of analogy input matrices. On the whole, "concept" errors were more common in humans, and "matrix" errors were more common in LLMs. This study sheds new light on LLM reasoning ability and the extent to which we can use error analyses and comparisons with human development to understand how LLMs solve visual analogies.