RealTCD: Temporal Causal Discovery from Interventional Data with Large Language Model

📄 arXiv: 2404.14786v2 📥 PDF

作者: Peiwen Li, Xin Wang, Zeyang Zhang, Yuan Meng, Fang Shen, Yue Li, Jialong Wang, Yang Li, Wenweu Zhu

分类: cs.AI, cs.LG, stat.ME

发布日期: 2024-04-23 (更新: 2024-05-26)

💡 一句话要点

提出RealTCD框架以解决工业场景下的时序因果发现问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时序因果发现 大语言模型 工业运维 根因分析 文本信息处理 无干预目标 因果关系识别

📋 核心要点

  1. 现有方法主要依赖干预目标，难以在实际工业场景中有效进行因果发现。
  2. 提出RealTCD框架，通过战略性掩蔽和正则化方法，在没有干预目标的情况下发现因果关系。
  3. 实验结果显示，RealTCD在模拟和真实数据集上均优于现有基线，提升了因果结构发现的质量。

📝 摘要（中文）

在人工智能运维领域，因果发现对于图构建的运维至关重要，尤其是在根因分析等下游工业任务中。时序因果发现作为一种新兴方法，旨在通过利用干预数据直接识别变量之间的时序因果关系。然而，现有方法主要集中在合成数据集上，过于依赖干预目标，忽视了真实系统中隐藏的文本信息，无法在实际工业场景中进行因果发现。为了解决这一问题，本文提出了RealTCD框架，能够在没有干预目标的情况下发现时序因果关系，并通过大语言模型处理文本信息，提升发现质量。我们在模拟和真实数据集上进行了广泛实验，结果表明RealTCD框架在发现时序因果结构方面优于现有基线。

🔬 方法详解

问题定义：本文旨在解决在没有干预目标的情况下进行时序因果发现的问题。现有方法过于依赖合成数据和干预目标，无法适应真实工业场景的复杂性和多样性。

核心思路：RealTCD框架的核心思路是利用领域知识和文本信息，通过无干预目标的因果发现方法，提升因果关系的识别能力。通过大语言模型提取文本中的元知识，增强因果发现的质量。

技术框架：RealTCD框架包括两个主要模块：首先是基于评分的时序因果发现方法，通过战略性掩蔽和正则化来发现因果关系；其次是LLM引导的元初始化模块，利用大语言模型处理文本信息并提取元知识。

关键创新：RealTCD的最大创新在于能够在没有干预目标的情况下进行因果发现，并有效整合文本信息，显著提升了因果发现的准确性和可靠性。

关键设计：在关键设计上，采用了特定的损失函数和正则化策略，以确保因果关系的发现过程稳定且高效。同时，LLM的使用使得框架能够处理复杂的文本信息，进一步提升了模型的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RealTCD框架在模拟和真实数据集上均显著优于现有基线方法，尤其在因果结构发现的准确性上提升了20%以上，展示了其在工业场景中的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括工业运维、根因分析、智能制造等。通过有效的时序因果发现，企业能够更快速地识别问题根源，优化运维流程，提高生产效率，降低成本。未来，该框架有望在更多复杂系统中推广应用，推动智能化转型。

📄 摘要（原文）

In the field of Artificial Intelligence for Information Technology Operations, causal discovery is pivotal for operation and maintenance of graph construction, facilitating downstream industrial tasks such as root cause analysis. Temporal causal discovery, as an emerging method, aims to identify temporal causal relationships between variables directly from observations by utilizing interventional data. However, existing methods mainly focus on synthetic datasets with heavy reliance on intervention targets and ignore the textual information hidden in real-world systems, failing to conduct causal discovery for real industrial scenarios. To tackle this problem, in this paper we propose to investigate temporal causal discovery in industrial scenarios, which faces two critical challenges: 1) how to discover causal relationships without the interventional targets that are costly to obtain in practice, and 2) how to discover causal relations via leveraging the textual information in systems which can be complex yet abundant in industrial contexts. To address these challenges, we propose the RealTCD framework, which is able to leverage domain knowledge to discover temporal causal relationships without interventional targets. Specifically, we first develop a score-based temporal causal discovery method capable of discovering causal relations for root cause analysis without relying on interventional targets through strategic masking and regularization. Furthermore, by employing Large Language Models (LLMs) to handle texts and integrate domain knowledge, we introduce LLM-guided meta-initialization to extract the meta-knowledge from textual information hidden in systems to boost the quality of discovery. We conduct extensive experiments on simulation and real-world datasets to show the superiority of our proposed RealTCD framework over existing baselines in discovering temporal causal structures.