Active Disruption Avoidance and Trajectory Design for Tokamak Ramp-downs with Neural Differential Equations and Reinforcement Learning
作者: Allen M. Wang, Oswin So, Charles Dawson, Darren T. Garnier, Cristina Rea, Chuchu Fan
分类: physics.plasm-ph, cs.LG
发布日期: 2024-02-14
💡 一句话要点
提出基于强化学习的托卡马克等离子体安全降温策略
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 托卡马克 核聚变 强化学习 等离子体控制 轨迹设计 物理模型 安全性 优化算法
📋 核心要点
- 等离子体扰动是托卡马克核聚变研究中的主要经济风险，现有方法在扰动避免方面存在不足。
- 本文提出了一种基于强化学习的策略，通过混合物理与机器学习模型训练，安全地降低等离子体电流。
- 实验结果表明，训练后的策略能够在高保真度模拟器中成功降温，并有效避免扰动限制，展示了良好的安全性和可解释性。
📝 摘要（中文）
托卡马克是实现核聚变能源的有前景的途径，但等离子体扰动带来了重大经济风险，迫使在扰动避免方面进行大量研究。本文开发了一种强化学习方法，通过训练策略安全地降低等离子体电流，同时避免与扰动相关的多个量的限制。训练环境是一个混合物理与机器学习模型，基于SPARC主要参考放电的降温模拟进行训练。为了解决物理不确定性和模型不准确性，模拟环境在政策训练期间进行了大规模并行化，并随机化物理参数。训练后的策略成功转移到更高保真度的模拟器中，能够在避免用户指定的扰动限制的情况下成功降温。此外，本文还展示了约束条件策略作为轨迹设计助手的应用，能够设计出应对不同物理条件和用户设置的前馈轨迹库。
🔬 方法详解
问题定义：本文旨在解决托卡马克等离子体降温过程中的扰动避免问题。现有方法在处理物理不确定性和模型不准确性方面存在局限，难以保证安全性。
核心思路：通过强化学习训练策略，利用混合物理与机器学习模型，安全地降低等离子体电流，并避免扰动限制。该方法通过大规模并行化和随机化物理参数来增强模型的鲁棒性。
技术框架：整体架构包括训练环境的构建、策略训练、策略转移和轨迹设计。训练环境结合了物理模型和机器学习，策略训练通过GPU并行化进行，最终策略在高保真度模拟器中验证。
关键创新：本文的主要创新在于将强化学习与物理模型结合，提出了约束条件策略作为轨迹设计助手，能够生成可解释的前馈轨迹库，提升了安全性和可验证性。
关键设计：在训练过程中，采用了随机化的物理参数设置，损失函数设计考虑了扰动限制，网络结构则基于深度强化学习框架，确保策略的有效性和稳定性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，训练后的策略在高保真度模拟器中成功实现了等离子体的安全降温，避免了用户指定的扰动限制，展现出比传统方法更高的安全性和效率。具体性能数据尚未披露，但实验表明该方法在处理物理不确定性方面具有显著优势。
🎯 应用场景
该研究的潜在应用领域包括核聚变能源的安全控制和优化，尤其是在托卡马克等离子体的降温过程中。通过提供可解释的轨迹库，能够在实际操作中提高安全性和可靠性，未来可能对核聚变技术的商业化进程产生积极影响。
📄 摘要（原文）
The tokamak offers a promising path to fusion energy, but plasma disruptions pose a major economic risk, motivating considerable advances in disruption avoidance. This work develops a reinforcement learning approach to this problem by training a policy to safely ramp-down the plasma current while avoiding limits on a number of quantities correlated with disruptions. The policy training environment is a hybrid physics and machine learning model trained on simulations of the SPARC primary reference discharge (PRD) ramp-down, an upcoming burning plasma scenario which we use as a testbed. To address physics uncertainty and model inaccuracies, the simulation environment is massively parallelized on GPU with randomized physics parameters during policy training. The trained policy is then successfully transferred to a higher fidelity simulator where it successfully ramps down the plasma while avoiding user-specified disruptive limits. We also address the crucial issue of safety criticality by demonstrating that a constraint-conditioned policy can be used as a trajectory design assistant to design a library of feed-forward trajectories to handle different physics conditions and user settings. As a library of trajectories is more interpretable and verifiable offline, we argue such an approach is a promising path for leveraging the capabilities of reinforcement learning in the safety-critical context of burning plasma tokamaks. Finally, we demonstrate how the training environment can be a useful platform for other feed-forward optimization approaches by using an evolutionary algorithm to perform optimization of feed-forward trajectories that are robust to physics uncertainty