DRL-Based Injection Molding Process Parameter Optimization for Adaptive and Profitable Production

📄 arXiv: 2505.10988v1 📥 PDF

作者: Joon-Young Kim, Jecheon Yu, Heekyu Kim, Seunghwa Ryu

分类: cs.AI, eess.SY

发布日期: 2025-05-16

备注: 50 pages, 10 figures

💡 一句话要点

提出基于DRL的注塑成型参数优化框架，自适应提升生产利润

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度强化学习 注塑成型 过程优化 实时控制 代理模型

📋 核心要点

  1. 注塑成型过程参数优化面临动态环境和经济条件下的挑战，需要在产品质量和盈利能力之间取得平衡。
  2. 论文提出基于DRL的实时过程优化框架，将产品质量和盈利能力整合到控制目标中，实现自适应优化。
  3. 实验表明，该框架能动态适应变化，保持产品质量并最大化利润，推理速度比传统方法快135倍。

📝 摘要（中文）

本文提出了一种基于深度强化学习（DRL）的注塑成型实时过程优化框架，旨在将产品质量和盈利能力整合到控制目标中。该框架开发了一个利润函数，反映了实际的制造成本，包括树脂、模具磨损和电力价格（包括分时变化）。构建了代理模型来预测产品质量和周期时间，从而可以使用软演员-评论家（SAC）和近端策略优化（PPO）算法有效地离线训练 DRL 智能体。实验结果表明，所提出的 DRL 框架可以动态适应季节性和运营变化，在始终保持产品质量的同时最大化利润。与遗传算法等传统优化方法相比，DRL 模型实现了相当的经济性能，但推理速度提高了高达 135 倍，使其非常适合实时应用。该框架的可扩展性和适应性凸显了其作为现代制造环境中智能、数据驱动决策基础的潜力。

🔬 方法详解

问题定义：注塑成型过程参数优化需要在动态变化的生产环境中，同时兼顾产品质量和盈利能力。传统优化方法难以快速适应环境变化，且计算成本高昂，无法满足实时优化需求。现有方法难以平衡产品质量、生产周期和成本，导致利润受限。

核心思路：利用深度强化学习（DRL）的自适应学习能力，构建能够实时调整注塑成型参数的智能体。通过定义包含产品质量和盈利能力的综合奖励函数，引导智能体学习最优策略，从而在保证产品质量的前提下最大化利润。使用代理模型加速DRL训练，使其能够在离线环境中高效学习。

技术框架：该框架包含以下主要模块：1) 利润函数构建模块，用于量化实际制造成本，包括树脂、模具磨损和电力价格等因素；2) 代理模型构建模块，用于预测产品质量和周期时间，降低DRL训练的计算复杂度；3) DRL智能体训练模块，使用SAC或PPO算法离线训练智能体；4) 实时优化模块，将训练好的智能体部署到实际生产环境中，根据实时数据调整注塑成型参数。

关键创新：该研究的关键创新在于将DRL应用于注塑成型过程的实时优化，并设计了综合考虑产品质量和盈利能力的奖励函数。与传统优化方法相比，DRL方法能够更好地适应动态环境，实现更快的推理速度，从而满足实时优化需求。此外，使用代理模型加速DRL训练，降低了计算成本。

关键设计：利润函数的设计综合考虑了树脂成本、模具磨损成本和电力成本，并引入了分时电价机制。代理模型采用神经网络进行训练，输入为注塑成型参数，输出为产品质量和周期时间。DRL智能体使用SAC或PPO算法进行训练，奖励函数为利润函数，状态空间为注塑成型参数和环境参数，动作空间为注塑成型参数的调整量。

📊 实验亮点

实验结果表明，基于DRL的优化框架在保持产品质量的同时，能够有效提高生产利润。与遗传算法等传统优化方法相比，DRL模型实现了相当的经济性能，但推理速度提高了高达135倍，使其非常适合实时应用。该框架能够动态适应季节性和运营变化，证明了其在实际生产环境中的可行性和优越性。

🎯 应用场景

该研究成果可应用于各种注塑成型生产线，实现智能化、自适应的生产过程优化。通过实时调整工艺参数，企业可以降低生产成本，提高产品质量，并快速响应市场变化。该技术还有潜力扩展到其他制造领域，例如金属加工、3D打印等，推动制造业的智能化转型。

📄 摘要（原文）

Plastic injection molding remains essential to modern manufacturing. However, optimizing process parameters to balance product quality and profitability under dynamic environmental and economic conditions remains a persistent challenge. This study presents a novel deep reinforcement learning (DRL)-based framework for real-time process optimization in injection molding, integrating product quality and profitability into the control objective. A profit function was developed to reflect real-world manufacturing costs, incorporating resin, mold wear, and electricity prices, including time-of-use variations. Surrogate models were constructed to predict product quality and cycle time, enabling efficient offline training of DRL agents using soft actor-critic (SAC) and proximal policy optimization (PPO) algorithms. Experimental results demonstrate that the proposed DRL framework can dynamically adapt to seasonal and operational variations, consistently maintaining product quality while maximizing profit. Compared to traditional optimization methods such as genetic algorithms, the DRL models achieved comparable economic performance with up to 135x faster inference speeds, making them well-suited for real-time applications. The framework's scalability and adaptability highlight its potential as a foundation for intelligent, data-driven decision-making in modern manufacturing environments.