Do Large Language Models Mirror Cognitive Language Processing?

📄 arXiv: 2402.18023v3 📥 PDF

作者: Yuqi Ren, Renren Jin, Tongxuan Zhang, Deyi Xiong

分类: cs.AI, cs.CL

发布日期: 2024-02-28 (更新: 2025-01-15)

💡 一句话要点

通过代表相似性分析探讨大语言模型与认知语言处理的关系

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 认知语言处理 代表相似性分析 fMRI信号 预训练数据 模型规模 对齐训练 自然语言处理

📋 核心要点

  1. 现有研究缺乏对大语言模型与人类认知语言处理之间关系的深入探讨，尤其是在如何量化这种对齐方面。
  2. 本文提出利用代表相似性分析（RSA）来测量大语言模型与大脑信号的对齐程度，从而评估其对人类语言处理的模拟效果。
  3. 实验结果表明，预训练数据规模和模型规模与LLM-大脑相似性正相关，且对齐训练显著提升了这种相似性。

📝 摘要（中文）

大语言模型（LLMs）在文本理解和逻辑推理方面表现出色，表明其学习的文本表示能够促进语言处理能力。本文利用代表相似性分析（RSA）评估23种主流LLMs与大脑fMRI信号之间的对齐程度，探讨训练策略对LLM与大脑对齐的影响。实验结果显示，预训练数据规模和模型规模与LLM-大脑相似性正相关，而对齐训练显著提升了这种相似性。明确的提示有助于LLMs与大脑认知语言处理的一致性，而无意义的噪声提示则可能削弱这种对齐。此外，广泛的LLM评估（如MMLU、Chatbot Arena）的表现与LLM-大脑相似性高度相关。

🔬 方法详解

问题定义：本文旨在探讨大语言模型（LLMs）与人类大脑在语言处理上的对齐程度，现有方法未能有效量化这种对齐关系。

核心思路：通过代表相似性分析（RSA），评估23种主流LLMs与大脑fMRI信号的相似性，研究不同训练策略对这种对齐的影响。

技术框架：研究流程包括数据收集（LLMs输出与fMRI信号）、相似性计算（使用RSA方法）、以及对不同因素（如预训练数据规模、模型规模等）的影响分析。

关键创新：本研究首次系统性地量化了LLMs与人类认知语言处理之间的对齐程度，并揭示了训练策略对这种对齐的影响。

关键设计：在实验中，使用了多种预训练数据规模和模型规模，并通过对齐训练优化了模型表现，明确提示的使用也被纳入设计考量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，预训练数据规模和模型规模与LLM-大脑相似性呈正相关，且对齐训练显著提高了相似性。使用明确提示时，LLMs与大脑认知语言处理的一致性增强，而无意义的提示则降低了这种一致性。整体评估结果与LLM-大脑相似性高度相关。

🎯 应用场景

该研究为理解大语言模型如何模拟人类语言处理提供了新的视角，具有潜在的应用价值，尤其是在自然语言处理、认知科学和人工智能等领域。未来，研究结果可能推动更高效的语言模型设计，提升人机交互的自然性和智能性。

📄 摘要（原文）

Large Language Models (LLMs) have demonstrated remarkable abilities in text comprehension and logical reasoning, indicating that the text representations learned by LLMs can facilitate their language processing capabilities. In neuroscience, brain cognitive processing signals are typically utilized to study human language processing. Therefore, it is natural to ask how well the text embeddings from LLMs align with the brain cognitive processing signals, and how training strategies affect the LLM-brain alignment? In this paper, we employ Representational Similarity Analysis (RSA) to measure the alignment between 23 mainstream LLMs and fMRI signals of the brain to evaluate how effectively LLMs simulate cognitive language processing. We empirically investigate the impact of various factors (e.g., pre-training data size, model scaling, alignment training, and prompts) on such LLM-brain alignment. Experimental results indicate that pre-training data size and model scaling are positively correlated with LLM-brain similarity, and alignment training can significantly improve LLM-brain similarity. Explicit prompts contribute to the consistency of LLMs with brain cognitive language processing, while nonsensical noisy prompts may attenuate such alignment. Additionally, the performance of a wide range of LLM evaluations (e.g., MMLU, Chatbot Arena) is highly correlated with the LLM-brain similarity.