Reinforcement Learning Controllers for Fusion Scenario Development
作者: Evgeny Adishchev, Maxim Nurgaliev, Dmitry Sorokin, Alexander Granovsky, Maksim Stokolesov, Igor Prokofyev, Eduard Khairutdinov, Georgy Subbotin
分类: physics.plasm-ph, cs.LG
发布日期: 2026-10-19
💡 一句话要点
提出强化学习控制器以优化核聚变场景开发
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 核聚变 控制器设计 场景开发 深度学习 自动化控制
📋 核心要点
- 现有的场景开发方法依赖于反复的试错过程，效率低下且劳动强度大。
- 论文提出了一种基于强化学习的控制器，通过一次性训练来替代传统的逐场景调优方法。
- 实验结果显示，该控制器在86%的测试场景中成功形成了双空心配置，且在多个性能指标上表现优异。
📝 摘要（中文）
场景开发，即设计将托卡马克放电从故障到平顶的波形，仍然是一个迭代且劳动密集的过程。每个候选场景都必须在控制器的循环中进行模拟，而传统的形状和电流控制器需要低级执行器参考。因此，该过程是迭代的，并包含多个试错步骤。本文提出用一个单一的目标条件强化学习控制器替代每个场景的控制器调优，该控制器在自由边界平衡和传输模拟器上进行一次性训练。场景仅通过感兴趣的物理量的目标波形来指定，控制器生成实现这些波形的线圈电流和燃料命令。我们在EAST等离子体电流上升过程中演示了该方法，控制器成功维持了双空心配置，并在多个测试场景中表现出色。
🔬 方法详解
问题定义：本文旨在解决传统场景开发中反复试错的低效问题，现有方法需要逐个场景调优，导致时间和资源的浪费。
核心思路：提出一种目标条件强化学习控制器，通过在模拟环境中进行一次性训练，使得控制器能够根据目标波形自动生成控制命令，简化了场景开发过程。
技术框架：整体架构包括一个强化学习控制器，该控制器与自由边界平衡和传输模拟器相结合，输入为目标波形，输出为线圈电流和燃料命令。
关键创新：最重要的创新在于用单一的强化学习控制器替代传统的多场景调优方法，显著提高了效率和准确性。
关键设计：控制器使用TQC算法进行训练，针对11维目标空间进行优化，设置了适当的损失函数以确保在不同场景下的稳定性和准确性。网络结构设计上，采用了适合时序控制的深度学习架构。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在1024个测试场景中，控制器成功形成双空心配置的比例达到86%，并在67%的场景中维持超过0.5秒的稳定状态。控制器在电流、密度和位置等多个指标上均表现出较小的跟踪误差，显示出其优越的控制能力。
🎯 应用场景
该研究的潜在应用领域包括核聚变实验的自动化控制和优化，能够显著提高场景开发的效率和准确性。未来，该方法可能扩展到其他复杂系统的控制问题，如机器人控制和智能制造等领域。
📄 摘要（原文）
Scenario development, the design of the waveforms that take a tokamak discharge from breakdown to flat-top, is still an iterative, labour-intensive process. Every candidate scenario has to be simulated with a controller in the loop, and the classical shape and current controllers need low-level actuator references. So the process is iterative and includes a number of trial-and-error steps. We propose to replace the per-scenario controller tuning by a single goal-conditioned reinforcement-learning controller trained once, in advance, against a free-boundary equilibrium and transport simulator. A scenario is then specified only by the target waveforms of the physical quantities of interest (plasma current, line-averaged electron density, LCFS shape, x-point positions), and the controller produces the coil-current and fueling commands that realize them. We demonstrate the approach on an EAST plasma-current ramp-up: the controller takes over a small limited plasma, ramps the current and the density, grows the cross-section, forms two x-points and holds a double-null diverted configuration against sampled shape targets for the rest of a 1.2 s episode. The neural network controller is trained using TQC algorithm. On 1024 test scenarios sampled from a low-discrepancy scrambled Sobol sequence in 11-dimensional target space, the controller forms the divertor in 86% of the cases, holds it for more than 0.5 s in 67% and reaches the end of the episode in a diverted state in 58%, with flat-top tracking errors of a few kA in plasma current, $\sim 0.15\times10^{19}$ m$^{-3}$ in density, $\sim 2$ cm in position and $\sim 8$ cm in x-point location; the failures concentrate at the high-current density ($J$) region which is believed to be physically or from engineering perspective not feasible within ohmic mode.