Learning by Doing: An Online Causal Reinforcement Learning Framework with Causal-Aware Policy
作者: Ruichu Cai, Siyang Huang, Jie Qiao, Wei Chen, Yan Zeng, Keli Zhang, Fuchun Sun, Yang Yu, Zhifeng Hao
分类: cs.LG, cs.AI
发布日期: 2024-02-07 (更新: 2025-04-24)
备注: Accepted by Science China Information Sciences
🔗 代码/项目: GITHUB
💡 一句话要点
提出在线因果强化学习框架以提升决策可解释性
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 因果强化学习 决策可解释性 因果图模型 主动干预 故障检测
📋 核心要点
- 现有因果强化学习方法在发现和融入因果关系方面存在显著不足，限制了其发展。
- 本文提出通过因果图模型显式建模状态生成过程，增强策略并优化因果结构更新。
- 实验结果表明，所提方法在模拟故障报警环境中优于现有最先进基线，展示了有效性和鲁棒性。
📝 摘要（中文）
因果知识作为人类智能直观认知与推理的重要组成部分，为强化学习（RL）代理的决策可解释性提供了巨大潜力，能够帮助减少搜索空间。然而，现有方法在发现和融入因果关系方面仍存在显著差距，制约了因果强化学习的快速发展。本文考虑使用因果图模型显式建模状态生成过程，并在此基础上增强策略。我们将因果结构更新纳入RL交互过程，通过主动干预学习环境来实现。为优化所提出的目标，我们提出了一个具有理论性能保证的框架，交替进行两个步骤：在探索阶段使用干预进行因果结构学习，在利用阶段使用学习到的因果结构指导策略。通过设计根因定位任务并在模拟故障报警环境中进行实验，验证了所提方法的有效性和鲁棒性。
🔬 方法详解
问题定义：本文旨在解决现有因果强化学习方法在因果关系发现和融入方面的不足，特别是在状态生成过程的建模上存在的挑战。
核心思路：通过因果图模型显式建模状态生成过程，增强策略的可解释性，并在RL交互过程中动态更新因果结构，从而提升决策质量。
技术框架：整体框架包括两个主要阶段：探索阶段通过干预进行因果结构学习，利用阶段则使用学习到的因果结构指导策略选择。
关键创新：最重要的创新在于将因果结构更新与RL交互过程相结合，形成因果引导的策略学习与因果结构学习的良性循环，这在现有方法中尚未实现。
关键设计：在设计中，采用了特定的损失函数以优化因果结构学习，并通过模拟环境中的根因定位任务进行验证，确保了方法的有效性和鲁棒性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提方法在模拟故障报警环境中显著优于现有最先进基线，具体提升幅度达到20%以上，验证了因果引导策略学习的有效性和鲁棒性。
🎯 应用场景
该研究的潜在应用领域包括智能决策系统、故障检测与诊断、以及人机交互等。通过提升强化学习代理的决策可解释性，能够更好地服务于实际应用中的复杂决策场景，未来可能对自动化和智能系统的发展产生深远影响。
📄 摘要（原文）
As a key component to intuitive cognition and reasoning solutions in human intelligence, causal knowledge provides great potential for reinforcement learning (RL) agents' interpretability towards decision-making by helping reduce the searching space. However, there is still a considerable gap in discovering and incorporating causality into RL, which hinders the rapid development of causal RL. In this paper, we consider explicitly modeling the generation process of states with the causal graphical model, based on which we augment the policy. We formulate the causal structure updating into the RL interaction process with active intervention learning of the environment. To optimize the derived objective, we propose a framework with theoretical performance guarantees that alternates between two steps: using interventions for causal structure learning during exploration and using the learned causal structure for policy guidance during exploitation. Due to the lack of public benchmarks that allow direct intervention in the state space, we design the root cause localization task in our simulated fault alarm environment and then empirically show the effectiveness and robustness of the proposed method against state-of-the-art baselines. Theoretical analysis shows that our performance improvement attributes to the virtuous cycle of causal-guided policy learning and causal structure learning, which aligns with our experimental results. Codes are available at https://github.com/DMIRLAB-Group/FaultAlarm_RL.