MacGyver: Are Large Language Models Creative Problem Solvers?

📄 arXiv: 2311.09682v4 📥 PDF

作者: Yufei Tian, Abhilasha Ravichander, Lianhui Qin, Ronan Le Bras, Raja Marjieh, Nanyun Peng, Yejin Choi, Thomas L. Griffiths, Faeze Brahman

分类: cs.CL, cs.AI

发布日期: 2023-11-16 (更新: 2025-02-22)

备注: NAACL 2024

💡 一句话要点

提出MACGYVER数据集以评估大型语言模型的创造性问题解决能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 创造性问题解决 物理推理 MACGYVER数据集 智能体评估

📋 核心要点

  1. 现有方法在处理复杂的物理推理和创新思维时存在局限性，难以有效评估智能体的创造性问题解决能力。
  2. 论文提出了MACGYVER数据集，旨在通过真实世界问题的设计，评估LLMs与人类在创造性解决方案上的表现差异。
  3. 实验结果显示，LLMs在广泛问题上表现出色，但常常提出不切实际的解决方案，而人类在熟悉领域中表现更佳，存在较高的方差。

📝 摘要（中文）

本研究探讨了现代大型语言模型（LLMs）在创造性问题解决方面的能力，构建了一个名为MACGYVER的自动生成数据集，包含1600多个真实世界问题，旨在激发创新思维和物体的非传统使用。通过将该数据集呈现给LLMs和人类进行比较，发现人类在熟悉任务中表现优异，但在特定领域知识上存在不足，而LLMs则在广泛问题上尝试，但常常提出物理上不可行的解决方案。最后，论文提供了LLMs的详细错误分析，并展示了通过迭代反思和发散-收敛思维等新型提示技术提升其问题解决能力的潜力。

🔬 方法详解

问题定义：本研究旨在解决如何有效评估大型语言模型在创造性问题解决方面的能力，现有方法未能充分考虑物理推理和创新思维的复杂性。

核心思路：通过构建MACGYVER数据集，设计出1600多个真实世界问题，促使LLMs和人类在创新使用物体和非传统思维方面进行比较。

技术框架：研究首先生成MACGYVER数据集，然后将其呈现给LLMs和人类，比较两者在问题解决上的表现，最后进行详细的错误分析并提出改进建议。

关键创新：该研究的创新在于引入了一个全新的评估框架，专注于物理推理和创新思维的复杂性，填补了现有机器智能评估的空白。

关键设计：数据集的设计考虑了多样性和复杂性，问题类型涵盖了不同领域，且在提示技术上采用了迭代反思和发散-收敛思维等新方法，以提升LLMs的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLMs在面对广泛问题时表现出色，但在物理可行性方面存在显著不足。人类在熟悉领域的任务中表现优异，方差较高。通过新型提示技术，LLMs的创造性问题解决能力有望得到提升，展示了改进的潜力。

🎯 应用场景

该研究的潜在应用领域包括教育、机器人技术和智能助手等，能够帮助提升AI在复杂问题解决中的表现，推动智能体在实际应用中的有效性和可靠性。未来，MACGYVER数据集也可作为评估其他智能系统创造性能力的基准。

📄 摘要（原文）

We explore the creative problem-solving capabilities of modern LLMs in a novel constrained setting. To this end, we create MACGYVER, an automatically generated dataset consisting of over 1,600 real-world problems deliberately designed to trigger innovative usage of objects and necessitate out-of-the-box thinking. We then present our collection to both LLMs and humans to compare and contrast their problem-solving abilities. MACGYVER is challenging for both groups, but in unique and complementary ways. For instance, humans excel in tasks they are familiar with but struggle with domain-specific knowledge, leading to a higher variance. In contrast, LLMs, exposed to a variety of specialized knowledge, attempt broader problems but fail by proposing physically-infeasible actions. Finally, we provide a detailed error analysis of LLMs, and demonstrate the potential of enhancing their problem-solving ability with novel prompting techniques such as iterative step-wise reflection and divergent-convergent thinking. This work (1) introduces a fresh arena for intelligent agents focusing on intricate aspects of physical reasoning, planning, and unconventional thinking, which supplements the existing spectrum of machine intelligence; and (2) provides insight into the constrained problem-solving capabilities of both humans and AI.