Automating psychological hypothesis generation with AI: when large language models meet causal graph

📄 arXiv: 2402.14424v3 📥 PDF

作者: Song Tong, Kai Mao, Zhen Huang, Yukun Zhao, Kaiping Peng

分类: cs.AI, cs.CY

发布日期: 2024-02-22 (更新: 2024-07-16)

期刊: Humanities and Social Sciences Communications, (2024) 11:896

DOI: 10.1057/s41599-024-03407-5

💡 一句话要点

结合因果知识图谱与大语言模型自动生成心理学假设

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 心理学假设生成 因果知识图谱 大语言模型 自动化研究 数据驱动研究

📋 核心要点

  1. 现有的心理学假设生成方法往往依赖于人工经验，缺乏系统性和自动化，导致研究效率低下。
  2. 本研究提出了一种结合因果知识图谱与大语言模型的自动化假设生成方法，旨在提高假设生成的效率和质量。
  3. 实验结果显示，结合方法生成的假设在新颖性上显著优于仅依赖LLM生成的假设，验证了该方法的有效性。

📝 摘要（中文）

本研究利用因果知识图谱与大语言模型（LLM）的协同作用，提出了一种在心理学领域进行计算假设生成的新方法。我们分析了43,312篇心理学文章，提取因果关系对，构建了专门的心理学因果图。通过应用链接预测算法，我们生成了130个潜在的心理假设，重点关注‘幸福感’，并将其与博士生构思的研究想法及仅由LLM生成的假设进行了比较。结果表明，结合LLM与因果图的方法在新颖性上与专家级见解相似，明显优于仅使用LLM生成的假设。我们的研究展示了将LLM与因果知识图谱结合的潜力，能够从丰富的文献中提取新颖的见解，为心理学研究中的数据驱动假设生成开辟了新的范式。

🔬 方法详解

问题定义：本研究旨在解决心理学领域假设生成的低效率和缺乏系统性的问题。现有方法主要依赖于专家经验，难以自动化生成新颖的研究假设。

核心思路：通过结合因果知识图谱与大语言模型（LLM），利用LLM提取文献中的因果关系，并构建心理学专用的因果图，从而实现自动化的假设生成。

技术框架：整体流程包括文献数据收集、因果关系提取、因果图构建和假设生成四个主要模块。首先分析心理学文献，提取因果关系对，然后构建因果图，最后应用链接预测算法生成潜在假设。

关键创新：本研究的主要创新在于将因果知识图谱与LLM结合，形成了一种新的假设生成机制。这种方法不仅提高了假设生成的效率，还增强了生成假设的科学性和新颖性。

关键设计：在模型设计中，采用了特定的链接预测算法来生成假设，并通过深度语义分析验证假设的有效性。关键参数设置和损失函数的选择经过多次实验优化，以确保生成结果的质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，结合因果知识图谱与LLM生成的130个假设在新颖性上显著优于仅由LLM生成的假设，具体表现为t(59) = 3.34, p=0.007和t(59) = 4.32, p<0.001，验证了该方法的有效性和创新性。

🎯 应用场景

该研究的潜在应用领域包括心理学研究、教育心理学、临床心理学等。通过自动化生成假设，研究人员可以更高效地探索心理学领域的复杂问题，推动理论发展和实践应用。此外，该方法也可扩展至其他社会科学领域，具有广泛的实际价值和影响力。

📄 摘要（原文）

Leveraging the synergy between causal knowledge graphs and a large language model (LLM), our study introduces a groundbreaking approach for computational hypothesis generation in psychology. We analyzed 43,312 psychology articles using a LLM to extract causal relation pairs. This analysis produced a specialized causal graph for psychology. Applying link prediction algorithms, we generated 130 potential psychological hypotheses focusing on `well-being', then compared them against research ideas conceived by doctoral scholars and those produced solely by the LLM. Interestingly, our combined approach of a LLM and causal graphs mirrored the expert-level insights in terms of novelty, clearly surpassing the LLM-only hypotheses (t(59) = 3.34, p=0.007 and t(59) = 4.32, p<0.001, respectively). This alignment was further corroborated using deep semantic analysis. Our results show that combining LLM with machine learning techniques such as causal knowledge graphs can revolutionize automated discovery in psychology, extracting novel insights from the extensive literature. This work stands at the crossroads of psychology and artificial intelligence, championing a new enriched paradigm for data-driven hypothesis generation in psychological research.