Efficient Causal Graph Discovery Using Large Language Models

📄 arXiv: 2402.01207 📥 PDF

作者: Thomas Jiralerspong, Xiaoyin Chen, Yash More, Vedant Shah, Yoshua Bengio

分类: cs.LG, cs.AI, stat.ME

发布日期: 2026-04-06

💡 一句话要点

提出基于LLM和广度优先搜索的高效因果图发现框架，解决传统方法查询效率低下的问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 因果图发现 大型语言模型 广度优先搜索 因果推理 计算效率 观测数据 图算法

📋 核心要点

  1. 现有基于LLM的因果图发现方法依赖于成对查询，计算复杂度高，难以应用于大型图。
  2. 论文提出基于广度优先搜索（BFS）的框架，显著减少了查询次数，提高了效率。
  3. 实验结果表明，该方法在真实因果图上达到了最先进的性能，并能有效利用观测数据。

📝 摘要（中文）

本文提出了一种新颖的框架，利用大型语言模型（LLM）进行完整的因果图发现。以往基于LLM的方法通常采用成对查询的方式，但这需要二次方数量级的查询，对于较大的因果图来说很快变得不切实际。相比之下，本文提出的框架使用广度优先搜索（BFS）方法，使其仅需线性数量级的查询。我们还表明，该方法可以轻松地整合可用的观测数据，以提高性能。除了在时间和数据效率方面更具优势外，所提出的框架还在各种规模的真实因果图上取得了最先进的结果。结果表明，该方法在发现因果关系方面的有效性和效率，展示了其在不同领域的因果图发现任务中广泛应用的潜力。

🔬 方法详解

问题定义：现有基于大型语言模型（LLM）的因果图发现方法，如成对查询方法，需要对所有可能的变量对进行查询以确定因果关系。这种方法的查询次数与变量数量的平方成正比，导致计算成本随着图规模的增大而迅速增加，使其在实际应用中受到限制。因此，如何高效地利用LLM进行大规模因果图发现是一个亟待解决的问题。

核心思路：本文的核心思路是利用广度优先搜索（BFS）算法来指导LLM的查询过程。BFS算法从一个起始节点开始，逐层探索其相邻节点，从而避免了对所有节点对进行穷举搜索。通过结合BFS算法和LLM的推理能力，该方法能够在保证因果关系发现准确性的前提下，显著减少查询次数，提高效率。

技术框架：该框架主要包含以下几个阶段：1) 初始化：选择一个起始变量作为BFS的根节点。2) LLM查询：利用LLM对当前节点的所有潜在父节点进行查询，以确定其直接因果关系。3) BFS扩展：将新发现的节点加入BFS队列，并重复步骤2，直到所有节点都被探索。4) 图构建：根据LLM的查询结果构建完整的因果图。此外，该框架还支持整合观测数据，以进一步提高因果关系发现的准确性。

关键创新：该方法最重要的创新点在于将广度优先搜索（BFS）算法与大型语言模型（LLM）相结合，用于因果图发现。与传统的成对查询方法相比，该方法能够显著减少查询次数，从而提高效率。此外，该方法还能够有效地利用观测数据，以提高因果关系发现的准确性。

关键设计：在LLM查询阶段，需要设计合适的prompt来引导LLM进行因果推理。Prompt的设计需要清晰明确，以避免歧义和误导。此外，还需要设置合适的阈值来判断LLM的输出结果是否可靠。在整合观测数据时，可以使用因果推断方法，如Do-calculus，来估计干预效应，从而提高因果关系发现的准确性。具体的参数设置和损失函数选择取决于具体的应用场景和数据集。

🖼️ 关键图片

fig_0

📊 实验亮点

该方法在真实世界的因果图数据集上取得了最先进的结果。与传统的成对查询方法相比，该方法能够显著减少查询次数，同时保持较高的因果关系发现准确性。具体而言，在不同规模的因果图上，该方法所需的查询次数仅为成对查询方法的线性级别，同时在因果关系发现的F1-score指标上取得了显著提升。

🎯 应用场景

该研究成果可广泛应用于医疗健康、金融风控、社会科学等领域。例如，在医疗领域，可以用于发现疾病的潜在风险因素和治疗方案的因果关系；在金融领域，可以用于识别影响市场波动的关键因素；在社会科学领域，可以用于研究社会现象的因果机制。该方法能够帮助研究人员更深入地理解复杂系统的因果关系，从而做出更明智的决策。

📄 摘要（原文）

We propose a novel framework that leverages LLMs for full causal graph discovery. While previous LLM-based methods have used a pairwise query approach, this requires a quadratic number of queries which quickly becomes impractical for larger causal graphs. In contrast, the proposed framework uses a breadth-first search (BFS) approach which allows it to use only a linear number of queries. We also show that the proposed method can easily incorporate observational data when available, to improve performance. In addition to being more time and data-efficient, the proposed framework achieves state-of-the-art results on real-world causal graphs of varying sizes. The results demonstrate the effectiveness and efficiency of the proposed method in discovering causal relationships, showcasing its potential for broad applicability in causal graph discovery tasks across different domains.