Towards a Psychology of Machines: Large Language Models Predict Human Memory
作者: Markus Huff, Elanur Ulakçı
分类: cs.CL, cs.AI
发布日期: 2024-03-08 (更新: 2024-12-04)
备注: 34 pages, 3 figures, 2 tables
期刊: PeerJ Comput.Sci. 11 (2025) e3324
💡 一句话要点
利用大型语言模型预测人类记忆表现
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 人类记忆 心理学研究 机器心理学 上下文依赖学习
📋 核心要点
- 现有方法在理解人类记忆表现方面存在局限，尤其是在复杂句子和上下文的影响下。
- 本研究通过使用ChatGPT对花园路径句子的相关性和记忆性进行评分，探索LLMs在预测人类记忆表现中的潜力。
- 实验结果显示，ChatGPT的评分与人类参与者的评分高度一致，且在不适合上下文条件下的相关性与记忆表现之间存在显著关联。
📝 摘要（中文）
大型语言模型（LLMs），如ChatGPT，在自然语言处理领域展现出卓越能力，为心理学研究开辟了新途径。本研究探讨了LLMs是否能够预测人类在涉及花园路径句子和上下文信息的任务中的记忆表现。研究结果表明，ChatGPT的相关性评分与人类参与者的评分高度一致，其记忆性评分有效预测了人类的记忆表现。这些发现表明，尽管LLMs缺乏人类的记忆机制，但它们能够模拟人类认知的某些方面，并在心理学研究中作为有价值的工具。我们提出“机器心理学”领域，以探索人类认知与人工智能之间的相互作用。
🔬 方法详解
问题定义：本研究旨在解决大型语言模型在预测人类记忆表现方面的有效性问题。现有方法未能充分利用LLMs的潜力，尤其是在复杂句子和上下文的影响下。
核心思路：研究通过ChatGPT对花园路径句子的相关性和记忆性进行评分，探讨其与人类记忆表现的关系，旨在揭示LLMs在心理学研究中的应用潜力。
技术框架：整体流程包括两个主要阶段：第一阶段使用ChatGPT对句子进行评分，第二阶段则让人类参与者阅读相同句子并进行相关性评分及记忆测试。
关键创新：本研究的创新点在于首次将LLMs应用于人类记忆表现的预测，展示了LLMs在模拟人类认知方面的潜力，尤其是在上下文依赖学习的概率框架下。
关键设计：研究中设置了不同的上下文条件（适合与不适合），并通过比较ChatGPT与人类参与者的评分，验证了模型的有效性和预测能力。
📊 实验亮点
实验结果表明，ChatGPT的相关性评分与人类参与者的评分高度一致，且其记忆性评分有效预测了人类的记忆表现。在不适合上下文条件下，相关性与记忆表现之间的关联性显著，验证了LLMs在心理学研究中的应用价值。
🎯 应用场景
该研究的潜在应用领域包括心理学、教育和人机交互等。通过利用LLMs预测人类记忆表现，研究者可以更好地理解人类认知过程，并为相关领域提供新的研究工具和方法，推动心理学与人工智能的交叉研究。
📄 摘要（原文）
Large language models (LLMs), such as ChatGPT, have shown remarkable abilities in natural language processing, opening new avenues in psychological research. This study explores whether LLMs can predict human memory performance in tasks involving garden-path sentences and contextual information. In the first part, we used ChatGPT to rate the relatedness and memorability of garden-path sentences preceded by either fitting or unfitting contexts. In the second part, human participants read the same sentences, rated their relatedness, and completed a surprise memory test. The results demonstrated that ChatGPT's relatedness ratings closely matched those of the human participants, and its memorability ratings effectively predicted human memory performance. Both LLM and human data revealed that higher relatedness in the unfitting context condition was associated with better memory performance, aligning with probabilistic frameworks of context-dependent learning. These findings suggest that LLMs, despite lacking human-like memory mechanisms, can model aspects of human cognition and serve as valuable tools in psychological research. We propose the field of machine psychology to explore this interplay between human cognition and artificial intelligence, offering a bidirectional approach where LLMs can both benefit from and contribute to our understanding of human cognitive processes.