Confounding Masquerading as Improvement: A Systematic Evaluation of Offline Reinforcement Learning for Stroke Antithrombotic Treatment in a 129,000-Patient Registry
作者: Kihun Rhee
分类: cs.LG, stat.ML
发布日期: 2026-08-31
备注: 37 pages, 5 figures. Accepted at Machine Learning for Healthcare (MLHC) 2026; to appear in Proceedings of Machine Learning Research (PMLR), vol. 340
💡 一句话要点
系统评估离线强化学习在卒中抗血栓治疗中的应用
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 离线强化学习 卒中治疗 奖励设计 政策评估 混淆分析 临床决策支持 急性缺血性卒中
📋 核心要点
- 现有的离线强化学习方法在卒中抗血栓治疗中存在奖励设计混淆，导致政策评估结果不可靠。
- 本文通过系统评估不同的离线强化学习算法和奖励设计，提出了去混淆的方法以提高政策评估的准确性。
- 实验结果显示，去除奖励混淆后，政策改善估计显著降低，未达到临床意义，强调了混淆对结果的影响。
📝 摘要（中文）
近期的离线强化学习研究报告称其政策在临床结果上优于医生决策。本文对来自全国注册的44,894名2018年后急性缺血性卒中患者的数据进行了系统评估，比较了五种离线强化学习算法及14种奖励设计。研究发现，标准的Fitted Q-Evaluation (FQE) 估计的政策改善为+0.0069，增加早期神经恶化惩罚后提升至+0.0101。然而，奖励嵌入的混淆现象导致观察到的信号变化的218.6%归因于终端奖励混淆。去除混淆后，FQE估计下降至+0.0033，进一步去混淆后为+0.0025，均未达到临床意义。本文提供了一个六步评估检查表，生成了假设用于未来试验设计。
🔬 方法详解
问题定义：本文旨在解决离线强化学习在卒中抗血栓治疗中的奖励设计混淆问题，现有方法的评估结果可能因混淆而不准确。
核心思路：通过系统评估不同的离线强化学习算法和奖励设计，识别并去除奖励嵌入的混淆，以提高政策评估的可靠性。
技术框架：研究采用了五种离线强化学习算法和14种奖励设计，进行了一系列的实验和分析，包括Fitted Q-Evaluation (FQE) 和T-learner分析等。
关键创新：最重要的创新在于识别并量化奖励嵌入的混淆现象，提出了去混淆的策略，显著改善了政策评估的准确性。
关键设计：在实验中，采用了DML启发的GBM奖励残差化方法，设置了不同的奖励设计和惩罚机制，以评估其对政策改善估计的影响。实验还包括了1年mRS因子分析以验证结果的稳健性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，去除奖励混淆后，FQE估计从+0.0101降至+0.0025，未达到临床意义（p = 0.291），强调了奖励设计对政策评估结果的重大影响。这一发现为未来的临床试验设计提供了重要的理论依据。
🎯 应用场景
该研究的潜在应用领域包括医疗决策支持系统，尤其是在卒中治疗和其他急性疾病管理中。通过提高离线强化学习的政策评估准确性，可以为临床医生提供更可靠的治疗建议，进而改善患者的治疗效果和预后。
📄 摘要（原文）
Recent offline reinforcement learning (RL) studies report policies that outperform physician decisions on clinical outcomes. We conduct a systematic, partially crossed evaluation of five offline RL algorithm families and 14 reward designs in 44,894 post-2018 acute ischemic stroke patients from a nationwide registry (N = 129,033). Standard Fitted Q-Evaluation (FQE) yields an apparent policy-improvement estimate of +0.0069; adding an Early Neurological Deterioration penalty increases it to +0.0101. We identify reward-embedded confounding, in which a proxy terminal reward encodes baseline severity and prognosis as well as treatment efficacy. A 2 x 2 factorial analysis finds that terminal reward confounding accounts for 218.6% of the observed signal change, so its removal overshoots the null. After DML-inspired GBM reward residualization, the FQE estimate attenuates to +0.0033 (p = 0.132), and full deconfounding yields +0.0025 (p = 0.291). FQE-based diagnostics, T-learner analyses, and direct recurrence analyses converge away from a clinically meaningful aggregate improvement. A 1-year mRS factorial analysis replicates the attenuation. We provide an empirically motivated six-step evaluation checklist. NIHSS-stratified heterogeneity is hypothesis-generating for prospective trial design; hospital-level disagreement does not persist after full reward deconfounding.