CORE: Towards Scalable and Efficient Causal Discovery with Reinforcement Learning
作者: Andreas W. M. Sauter, Nicolò Botteghi, Erman Acar, Aske Plaat
分类: cs.LG, cs.AI
发布日期: 2024-01-30
备注: To be published In Proc. of the 23rd International Conference on Autonomous Agents and Multiagent Systems (AAMAS 2024), Auckland, New Zealand, May 6 - 10, 2024, IFAAMAS
🔗 代码/项目: GITHUB
💡 一句话要点
提出CORE以实现可扩展高效的因果发现
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 因果发现 强化学习 深度学习 干预策略 因果图 数据分析 机器学习
📋 核心要点
- 核心问题：现有因果发现方法在处理复杂因果结构时，往往依赖于被动观察，难以有效区分因果关系与相关性。
- 方法要点：CORE通过深度强化学习框架，结合干预策略，能够动态重建因果图并进行有效的干预，从而提升因果发现的准确性。
- 实验或效果：CORE在结构估计准确性和样本效率上超越了现有方法，能够有效处理多达10个变量的大型因果图。
📝 摘要（中文）
因果发现是从数据中推断因果结构的挑战性任务。受Pearl因果层次理论的启发，单纯的被动观察不足以区分相关性与因果关系，因此近期有推动将干预纳入机器学习研究。本文提出了CORE，一个基于深度强化学习的因果发现与干预规划方法。CORE能够从数据中顺序重建因果图，同时学习执行有效的干预。实验结果表明，CORE能够推广到未见过的图，并高效地揭示因果结构。此外，CORE在处理多达10个变量的大型图时表现出色，在结构估计准确性和样本效率上超越了现有方法。
🔬 方法详解
问题定义：本文旨在解决因果发现中的因果结构推断问题，现有方法在处理复杂因果关系时往往依赖于被动观察，导致因果关系与相关性难以区分。
核心思路：CORE采用深度强化学习的框架，通过主动干预的方式来学习因果结构。该方法的设计旨在通过动态重建因果图，结合干预策略，提高因果发现的准确性和效率。
技术框架：CORE的整体架构包括数据输入模块、因果图重建模块和干预策略模块。数据输入模块负责接收和预处理数据，因果图重建模块通过强化学习算法逐步构建因果图，而干预策略模块则学习如何进行有效的干预以优化学习过程。
关键创新：CORE的主要创新在于将深度强化学习与因果发现相结合，能够在动态环境中进行因果结构的重建和干预规划。这一方法与传统的静态因果发现方法有本质区别，能够更好地适应复杂的因果关系。
关键设计：在技术细节上，CORE使用了特定的损失函数来优化因果图的重建过程，并设计了适应性强的网络结构，以提高模型的泛化能力和样本效率。
🖼️ 关键图片
📊 实验亮点
实验结果显示，CORE在结构估计准确性上超越了现有方法，样本效率显著提高。具体而言，CORE在处理包含10个变量的因果图时，表现出更高的准确性和更快的收敛速度，证明了其在大规模因果发现中的有效性。
🎯 应用场景
CORE的研究成果在多个领域具有广泛的应用潜力，包括医疗决策支持、经济模型分析和社会网络研究等。通过有效的因果发现，能够为复杂系统的理解和干预提供科学依据，推动相关领域的发展。
📄 摘要（原文）
Causal discovery is the challenging task of inferring causal structure from data. Motivated by Pearl's Causal Hierarchy (PCH), which tells us that passive observations alone are not enough to distinguish correlation from causation, there has been a recent push to incorporate interventions into machine learning research. Reinforcement learning provides a convenient framework for such an active approach to learning. This paper presents CORE, a deep reinforcement learning-based approach for causal discovery and intervention planning. CORE learns to sequentially reconstruct causal graphs from data while learning to perform informative interventions. Our results demonstrate that CORE generalizes to unseen graphs and efficiently uncovers causal structures. Furthermore, CORE scales to larger graphs with up to 10 variables and outperforms existing approaches in structure estimation accuracy and sample efficiency. All relevant code and supplementary material can be found at https://github.com/sa-and/CORE