Large-scale study of human memory for meaningful narratives
作者: Antonios Georgiou, Tankut Can, Mikhail Katkov, Misha Tsodyks
分类: cs.CL, q-bio.NC
发布日期: 2023-11-08 (更新: 2024-11-23)
备注: 45 pages, significant revision
💡 一句话要点
利用大型语言模型研究人类记忆的叙事理解
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 人类记忆 大型语言模型 叙事理解 记忆实验 语义相似性 上下文重构 心理学研究
📋 核心要点
- 现有的记忆研究多集中于无意义材料，缺乏对自然叙事的系统性大规模研究，导致理解受限。
- 本研究提出了一种利用大型语言模型设计自然叙事刺激并分析实验结果的流程，解决了传统方法的手动劳动问题。
- 实验结果显示，叙事长度与记忆表现呈线性关系，打乱叙事后回忆能力显著下降，但识别能力保持稳定，揭示了记忆的上下文重构特性。
📝 摘要（中文）
本研究通过大规模实验探讨人类对叙事的记忆，开发了一种利用大型语言模型（LLMs）设计和分析自然叙事刺激的流程。我们进行了在线记忆实验，发现叙事长度与回忆和识别表现呈线性关系，但较长叙事中人们倾向于总结内容而非精确回忆。通过对打乱叙事的实验，发现回忆表现显著下降，但识别能力保持稳定，表明记忆中的情境重构作用。最后，利用LLM文本嵌入构建的语义相似性度量与回忆概率强相关，展示了LLMs在研究人类记忆中的潜力。
🔬 方法详解
问题定义：本研究旨在解决现有方法在大规模实验中对自然叙事刺激设计和分析的不足，传统方法依赖大量手动劳动，难以实现大规模研究。
核心思路：通过开发一个利用大型语言模型（LLMs）的流程，自动生成自然叙事刺激并分析实验结果，从而简化实验设计和数据分析过程。
技术框架：整体架构包括刺激设计模块、实验实施模块和结果分析模块。刺激设计模块使用LLMs生成叙事内容，实验实施模块通过在线平台收集参与者的记忆数据，结果分析模块则利用LLMs进行数据分析和语义相似性度量。
关键创新：本研究的主要创新在于首次将大型语言模型应用于人类记忆研究，提供了一种新的实验设计和分析方法，与传统手动设计方法相比，显著提高了效率和可扩展性。
关键设计：在实验中，使用了不同长度的叙事刺激，并通过打乱叙事顺序来考察记忆表现。关键参数包括叙事长度、参与者数量和语义相似性度量的构建方式。
🖼️ 关键图片
📊 实验亮点
实验结果表明，叙事长度与回忆和识别表现呈线性关系，打乱叙事后回忆能力显著下降（约30%），而识别能力保持稳定，显示出记忆的上下文重构特性。此外，利用LLM文本嵌入构建的语义相似性度量与回忆概率呈强相关，提供了新的研究视角。
🎯 应用场景
该研究的潜在应用领域包括心理学、教育和人机交互等。通过深入理解人类记忆机制，可以为教育方法的改进、记忆辅助工具的开发以及智能系统的设计提供理论支持，推动相关领域的发展。
📄 摘要（原文）
The statistical study of human memory requires large-scale experiments, involving many stimuli conditions and test subjects. While this approach has proven to be quite fruitful for meaningless material such as random lists of words, naturalistic stimuli, like narratives, have until now resisted such a large-scale study, due to the quantity of manual labor required to design and analyze such experiments. In this work, we develop a pipeline that uses large language models (LLMs) both to design naturalistic narrative stimuli for large-scale recall and recognition memory experiments, as well as to analyze the results. We performed online memory experiments with a large number of participants and collected recognition and recall data for narratives of different sizes. We found that both recall and recognition performance scale linearly with narrative length; however, for longer narratives people tend to summarize the content rather than recalling precise details. To investigate the role of narrative comprehension in memory, we repeated these experiments using scrambled versions of the narratives. Although recall performance declined significantly, recognition remained largely unaffected. Recalls in this condition seem to follow the original narrative order rather than the actual scrambled presentation, pointing to a contextual reconstruction of the story in memory. Finally, using LLM text embeddings, we construct a simple measure for each clause based on semantic similarity to the whole narrative, that shows a strong correlation with recall probability. Overall, our work demonstrates the power of LLMs in accessing new regimes in the study of human memory, as well as suggesting novel psychologically informed benchmarks for LLM performance.