Large Language Models are Zero Shot Hypothesis Proposers

📄 arXiv: 2311.05965v1 📥 PDF

作者: Biqing Qi, Kaiyan Zhang, Haoxiang Li, Kai Tian, Sihang Zeng, Zhang-Ren Chen, Bowen Zhou

分类: cs.CL

发布日期: 2023-11-10

备注: Instruction Workshop @ NeurIPS 2023

💡 一句话要点

提出大型语言模型作为零-shot假设生成者以促进科学发现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 科学假设生成 跨学科知识 生物医学文献 多代理合作框架

📋 核心要点

  1. 现有科学发现方法面临信息壁垒，导致跨学科知识难以整合和利用。
  2. 本文提出利用大型语言模型生成科学假设，通过构建背景知识与假设对的数据集进行评估。
  3. 实验结果显示，LLMs能够生成有效的假设，并且增加不确定性有助于提升假设生成能力。

📝 摘要（中文）

科学发现的重大进展推动了人类文明的发展。然而，科学文献和数据的激增在各学科之间造成了信息壁垒，减缓了科学发现的步伐。大型语言模型（LLMs）蕴含了丰富的全球和跨学科知识，有望打破这些信息壁垒，促进新的科学发现。本文探讨了LLMs在提出科学假设方面的潜力，构建了一个包含生物医学文献背景知识和假设对的数据集，并在零-shot、few-shot和微调设置下评估了多种顶级模型的假设生成能力。我们还引入了基于LLM的多代理合作框架，以增强假设生成能力。实验结果表明，LLMs能够生成未训练但经过验证的假设，并且增加不确定性有助于候选生成，支持LLMs作为新科学发现催化剂的潜力。

🔬 方法详解

问题定义：本文旨在探讨大型语言模型在科学假设生成中的潜力，现有方法在跨学科知识整合和假设生成方面存在不足。

核心思路：通过构建包含生物医学文献的背景知识与假设对的数据集，评估LLMs在零-shot、few-shot和微调设置下的假设生成能力。

技术框架：研究采用了多种顶级指令模型，并引入了LLM基础的多代理合作框架，设计不同角色和外部工具以增强假设生成能力。

关键创新：最重要的创新在于LLMs能够在未经过训练的情况下，从测试文献中生成经过验证的假设，展示了其作为科学发现催化剂的潜力。

关键设计：设计了四个评估指标，通过综合评审来评估生成的假设，确保对ChatGPT和人类评估的全面性。实验中还探讨了不确定性对候选生成的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLMs能够生成未经过训练但经过验证的假设，且增加不确定性显著提升了零-shot假设生成能力。这些发现为LLMs作为科学发现的催化剂提供了强有力的支持。

🎯 应用场景

该研究的潜在应用领域包括生物医学研究、科学发现和跨学科知识整合。通过利用LLMs生成假设，研究人员可以更快地识别研究方向，推动科学进步。未来，LLMs可能在科学研究中发挥更为重要的作用，促进新理论和技术的产生。

📄 摘要（原文）

Significant scientific discoveries have driven the progress of human civilisation. The explosion of scientific literature and data has created information barriers across disciplines that have slowed the pace of scientific discovery. Large Language Models (LLMs) hold a wealth of global and interdisciplinary knowledge that promises to break down these information barriers and foster a new wave of scientific discovery. However, the potential of LLMs for scientific discovery has not been formally explored. In this paper, we start from investigating whether LLMs can propose scientific hypotheses. To this end, we construct a dataset consist of background knowledge and hypothesis pairs from biomedical literature. The dataset is divided into training, seen, and unseen test sets based on the publication date to control visibility. We subsequently evaluate the hypothesis generation capabilities of various top-tier instructed models in zero-shot, few-shot, and fine-tuning settings, including both closed and open-source LLMs. Additionally, we introduce an LLM-based multi-agent cooperative framework with different role designs and external tools to enhance the capabilities related to generating hypotheses. We also design four metrics through a comprehensive review to evaluate the generated hypotheses for both ChatGPT-based and human evaluations. Through experiments and analyses, we arrive at the following findings: 1) LLMs surprisingly generate untrained yet validated hypotheses from testing literature. 2) Increasing uncertainty facilitates candidate generation, potentially enhancing zero-shot hypothesis generation capabilities. These findings strongly support the potential of LLMs as catalysts for new scientific discoveries and guide further exploration.