Laser Scan Path Design for Controlled Microstructure in Additive Manufacturing with Integrated Reduced-Order Phase-Field Modeling and Deep Reinforcement Learning

📄 arXiv: 2506.21815v1 📥 PDF

作者: Augustine Twumasi, Prokash Chandra Roy, Zixun Li, Soumya Shouvik Bhattacharjee, Zhengtao Gan

分类: cs.CE, cs.LG, math.OC

发布日期: 2025-04-12

💡 一句话要点

提出一种基于相场模型和深度强化学习的激光扫描路径优化方法，用于控制增材制造中的微观结构。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 增材制造 激光粉末床熔融 相场模型 深度强化学习 微观结构优化

📋 核心要点

  1. L-PBF增材制造中微观结构难以控制，影响产品质量，传统方法依赖试错，效率低下。
  2. 利用相场模型预测晶粒结构演化，并用3D U-Net学习热历史与晶粒取向之间的关系，加速计算。
  3. 采用深度强化学习自动生成优化扫描路径，以获得期望的微观结构，并与传统锯齿形扫描路径对比，验证有效性。

📝 摘要（中文）

激光粉末床熔融(L-PBF)是一种广泛认可的增材制造技术，用于生产具有卓越精度的复杂金属部件。L-PBF的一个关键挑战是形成影响产品质量的复杂微观结构。我们提出了一种物理引导的机器学习方法，以优化扫描路径，从而获得所需的微观结构结果，例如等轴晶粒。我们利用相场法(PFM)来模拟晶体晶粒结构的演变。为了降低计算成本，我们训练了一个替代机器学习模型，即3D U-Net卷积神经网络，使用具有各种激光功率的单道相场模拟，以基于初始微观结构和热历史来预测晶体晶粒取向。我们研究了正方形区域内各种填充间距的三种扫描策略，使用替代模型实现了两个数量级的加速。为了减少设计激光扫描刀具路径中的反复试验，我们使用深度强化学习(DRL)来生成针对目标微观结构的优化扫描路径。三个案例的结果证明了DRL方法的有效性。我们将替代3D U-Net模型集成到我们的DRL环境中，以加速强化学习训练过程。奖励函数最小化了来自agent扫描路径的预测微观结构的纵横比和晶粒体积。强化学习算法以传统的锯齿形方法为基准，用于较小和较大的域，显示了机器学习方法在增强L-PBF优化中的微观结构控制和计算效率的潜力。

🔬 方法详解

问题定义：论文旨在解决激光粉末床熔融(L-PBF)增材制造过程中，难以精确控制微观结构的问题。现有的扫描路径设计方法主要依赖于人工经验和反复试验，效率低下且难以获得最优结果。此外，精确模拟微观结构演化需要大量的计算资源，限制了优化过程的效率。

核心思路：论文的核心思路是结合相场模型、深度学习和强化学习，构建一个能够自动优化扫描路径，从而控制微观结构的框架。首先，利用相场模型模拟晶粒生长过程，获取训练数据；然后，训练一个3D U-Net模型作为相场模型的替代，加速预测过程；最后，使用深度强化学习算法，以期望的微观结构为目标，自动生成优化的扫描路径。

技术框架：整体框架包含三个主要模块：1) 相场模型模拟模块：用于生成不同激光功率下的单道扫描模拟数据，作为U-Net模型的训练集。2) 3D U-Net替代模型：用于快速预测给定扫描路径下的晶粒结构演化，替代耗时的相场模型计算。3) 深度强化学习模块：使用训练好的U-Net模型作为环境，通过强化学习算法优化扫描路径，以最小化晶粒的纵横比和体积。

关键创新：论文的关键创新在于将相场模型与深度强化学习相结合，实现扫描路径的自动优化。使用3D U-Net模型作为相场模型的替代，显著提高了计算效率。此外，奖励函数的设计能够有效地引导强化学习算法找到满足特定微观结构要求的扫描路径。

关键设计：3D U-Net模型的输入是初始微观结构和热历史，输出是晶粒取向。奖励函数的设计目标是最小化预测微观结构的纵横比和晶粒体积，鼓励生成等轴晶。强化学习算法采用的是一种基于策略梯度的算法，例如Proximal Policy Optimization (PPO)，具体参数设置未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究结果表明，使用3D U-Net替代模型可以将计算速度提高两个数量级。深度强化学习算法能够有效地生成优化的扫描路径，与传统的锯齿形扫描路径相比，能够获得更理想的微观结构。在不同尺寸的区域上进行了测试，验证了该方法的有效性和泛化能力。

🎯 应用场景

该研究成果可应用于航空航天、医疗器械等领域，通过优化增材制造工艺，实现对金属部件微观结构的精确控制，从而提高材料的力学性能和使用寿命。该方法有望加速新材料的研发和定制化生产，推动增材制造技术的广泛应用。

📄 摘要（原文）

Laser powder bed fusion (L-PBF) is a widely recognized additive manufacturing technology for producing intricate metal components with exceptional accuracy. A key challenge in L-PBF is the formation of complex microstructures affecting product quality. We propose a physics-guided, machine-learning approach to optimize scan paths for desired microstructure outcomes, such as equiaxed grains. We utilized a phase-field method (PFM) to model crystalline grain structure evolution. To reduce computational costs, we trained a surrogate machine learning model, a 3D U-Net convolutional neural network, using single-track phase-field simulations with various laser powers to predict crystalline grain orientations based on initial microstructure and thermal history. We investigated three scanning strategies across various hatch spacings within a square domain, achieving a two-orders-of-magnitude speedup using the surrogate model. To reduce trial and error in designing laser scan toolpaths, we used deep reinforcement learning (DRL) to generate optimized scan paths for target microstructure. Results from three cases demonstrate the DRL approach's effectiveness. We integrated the surrogate 3D U-Net model into our DRL environment to accelerate the reinforcement learning training process. The reward function minimizes both aspect ratio and grain volume of the predicted microstructure from the agent's scan path. The reinforcement learning algorithm was benchmarked against conventional zigzag approach for smaller and larger domains, showing machine learning methods' potential to enhance microstructure control and computational efficiency in L-PBF optimization.