A Low-Rank Space Captures Linear Alignment Between LLM and Human Neural Activity During Naturalistic Language Listening
作者: Zach Paris, Emily Finn
分类: cs.CL, q-bio.NC
发布日期: 2026-10-29
备注: 23 pages, 12 figures. Code: https://github.com/thefinnlab/low-rank-alignment
🔗 代码/项目: GITHUB
💡 一句话要点
提出低秩空间方法以捕捉LLM与人类神经活动的线性对齐
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 神经活动预测 降秩回归 低维子空间 神经科学 语言处理 可解释性
📋 核心要点
- 现有方法尚未明确识别出大型语言模型（LLM）表示与人类神经活动之间的具体对齐成分。
- 论文通过岭回归降秩回归，提出了一种识别LLM表示中脑预测子空间的方法，旨在提高神经活动的预测能力。
- 实验结果表明，仅需1-3%的维度即可实现完整的线性编码性能，且这些低维子空间在不同参与者和数据集间具有良好的泛化性。
📝 摘要（中文）
大型语言模型（LLMs）越来越多地被用作人类语言处理的计算模型，但尚不清楚其表示的哪些成分驱动与神经活动的对齐。本文采用岭回归降秩回归方法，识别LLM表示的脑预测子空间，即支持神经反应线性预测的表示方向。通过对三组自然语言听觉数据集的分析，发现仅用1-3%的原始嵌入维度即可恢复完整的线性编码性能。这些低维子空间在未见参与者中具有良好的泛化能力，表明神经预测性集中在一个紧凑且部分共享的表示空间中。最后，研究还揭示了与神经活动相关的可解释特征，超出了LLM表示的范围。
🔬 方法详解
问题定义：本文旨在解决大型语言模型（LLM）表示与人类神经活动之间对齐的具体成分尚不明确的问题。现有方法未能有效识别出哪些表示方向能够驱动神经反应的线性预测，导致对LLM与人类认知过程的理解不足。
核心思路：论文的核心思路是通过岭回归降秩回归技术，识别出支持神经反应线性预测的低维脑预测子空间。这种设计旨在减少维度，同时保留对神经活动预测的重要信息，从而提高模型的解释性和有效性。
技术框架：整体架构包括数据预处理、岭回归降秩回归分析、低维子空间提取和神经活动预测评估等主要模块。首先，对三组自然语言听觉数据集进行处理，然后应用降秩回归方法识别脑预测子空间，最后评估其在神经活动预测中的表现。
关键创新：最重要的技术创新点在于识别出仅用1-3%的维度即可实现完整的线性编码性能，表明神经预测性集中在一个紧凑且部分共享的表示空间中。这与现有方法需要更多维度才能恢复神经预测的情况形成鲜明对比。
关键设计：在参数设置上，使用岭回归的正则化技术以防止过拟合，确保模型的泛化能力。损失函数设计为最小化神经活动与LLM表示之间的预测误差，网络结构则基于多种LLM模型条件进行比较，包括自回归、双向掩蔽和随机初始化的语言模型。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用仅1-3%的原始嵌入维度即可恢复完整的线性编码性能，且这些低维子空间在不同参与者中具有良好的泛化能力。与主成分分析相比，本文方法在神经预测上表现出更高的效率和准确性，显著降低了维度需求。
🎯 应用场景
该研究的潜在应用领域包括神经科学、认知心理学和人工智能等。通过更好地理解LLM与人类神经活动的对齐机制，研究可以为开发更具人性化的AI系统提供理论基础，并推动人机交互技术的进步。未来，研究成果可能在教育、医疗和语言治疗等领域产生重要影响。
📄 摘要（原文）
Large language models (LLMs) are increasingly used as computational models of human language processing, yet it remains unclear which components of their representations drive alignment with neural activity. Here, we use ridge reduced-rank regression to identify the brain-predictive subspace of LLM representations: the representational directions that support linear prediction of neural responses. Across three naturalistic language-listening datasets spanning intracranial electrophysiology and fMRI, and six model conditions spanning autoregressive, bidirectional masked, and randomly initialized language models, we find that full linear encoding performance can be recovered using only 1-3% of the original embedding dimensionality. These low-dimensional subspaces generalize across held-out participants and, to a lesser extent, across datasets, suggesting that neural predictivity is concentrated in a compact and partially shared representational space. We next compare these brain-predictive directions with the principal axes of variation in the embeddings. Principal component analysis requires substantially more dimensions to recover neural prediction, demonstrating that the directions most useful for predicting neural activity are distinct from those capturing the most overall variance within LLM representations themselves. Finally, characterizing the learned subspaces allows us to surface interpretable features that are overrepresented in neural activity above and beyond the LLM representations. Together, these results show that LLM-brain alignment is supported by a small, structured subset of model representations and provides a framework for better understanding exactly why these representations align. Code can be found at: https://github.com/thefinnlab/low-rank-alignment