Reinforcement Learning Techniques for the Optimization of Target Polarization in Nuclear Physics Scattering Experiments
作者: Armen Kasparian, Torri Jeske, Monibor Rahman, Chris Keith, James Maxwell, Thomas Britton, Malachi Schram, David Lawrence
分类: cs.AI
发布日期: 2026-10-01
💡 一句话要点
提出数据驱动控制框架以优化核物理散射实验中的目标极化
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 动态极化 强化学习 高斯过程 核物理 数据驱动控制 模型优化 实验自动化
📋 核心要点
- 现有方法依赖专家手动调节微波频率，效率低且容易受到人为因素影响。
- 提出结合代理建模与强化学习的框架，通过数据驱动的方法优化目标极化，提升操作效率。
- 实验结果显示，使用强化学习代理后，操作效果几乎提升了2倍，显著提高了目标极化的优化能力。
📝 摘要（中文）
动态极化目标在核物理实验中的操作依赖于微波频率的持续调节，以补偿辐射损伤和材料特性变化，这一任务通常由专家通过手动试错完成。本研究提出了一种结合代理建模与强化学习的数据驱动控制框架，以优化目标极化。利用APOLLO低温靶系统的操作数据，我们训练并评估了多层感知机和高斯过程回归模型，以预测微波频率、束流电流和累积辐射剂量对极化的影响。研究表明，高斯过程模型提供了经过校准的不确定性估计，并可靠地识别训练分布外的区域，而多层感知机对分布变化的敏感性有限。为了实现多靶样本的学习与控制，我们引入了高斯过程近似，并将代理模型嵌入标准化的仿真环境中。通过使用低置信界奖励公式训练强化学习代理，我们实现了几乎2倍的操作改进。
🔬 方法详解
问题定义：本研究旨在解决动态极化目标在核物理实验中微波频率调节效率低下的问题。现有方法依赖于专家的手动试错，容易受到人为因素的影响，且难以适应材料特性变化。
核心思路：论文提出了一种数据驱动的控制框架，结合代理建模与强化学习，通过对操作数据的分析，自动优化微波频率以提高目标极化。这样的设计能够减少人工干预，提高调节的精确性和效率。
技术框架：整体架构包括数据收集、模型训练、强化学习代理的训练和优化控制四个主要模块。首先，从APOLLO靶系统收集操作数据，然后训练多层感知机和高斯过程回归模型，最后通过强化学习代理进行优化控制。
关键创新：最重要的技术创新在于将高斯过程模型与强化学习结合，提供了经过校准的不确定性估计，并能够有效识别训练分布外的区域。这与传统方法的手动调节形成鲜明对比，显著提高了系统的自适应能力。
关键设计：在模型训练中，采用了多层感知机和高斯过程回归模型，重点关注高斯过程的近似能力和不确定性估计。此外，强化学习代理使用了低置信界奖励公式，以平衡性能最大化与不确定性之间的关系。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用强化学习代理后，操作效果几乎提升了2倍，相较于传统手动调节方法，显著提高了目标极化的优化能力，展示了该方法的有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括核物理实验、材料科学及其他需要动态调节的实验设置。通过优化目标极化，该框架能够提高实验的效率和精确度，未来可能推动相关领域的技术进步和应用拓展。
📄 摘要（原文）
The operation of dynamically polarized targets in nuclear physics experiments relies on continuous tuning of the microwave frequency to compensate for radiation damage and evolving material properties, a task that is traditionally performed through manual trial-and-error by expert operators. This work presents a data-driven control framework that combines surrogate modeling with reinforcement learning to optimize the target polarization. Using operational data from the APOLLO cryogenic target system, we train and evaluate multilayer perceptron and Gaussian process regression models to predict polarization as a function of microwave frequency, beam current, and accumulated radiation dose. We show that Gaussian process-based models provide calibrated uncertainty estimates and reliably identify regions outside the training distribution, while MLPs exhibit limited sensitivity to distributional shift. To enable learning and control across multiple target samples, we introduce a Gaussian process approximation and embed the surrogate model within a standardized simulation environment. A reinforcement learning agent is trained using a lower-confidence-bound reward formulation that balances performance maximization against uncertainty. We are able to show an almost 2x improvement on the operators actions utilizing our RL agent.