An Efficient and Uncertainty-aware Reinforcement Learning Framework for Quality Assurance in Extrusion Additive Manufacturing
作者: Xiaohan Li, Sebastian Pattinson
分类: eess.SY
发布日期: 2025-03-02
💡 一句话要点
提出基于不确定性感知的强化学习框架，用于挤出增材制造的质量保证。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 增材制造 强化学习 不确定性量化 质量控制 深度Q学习
📋 核心要点
- 挤出增材制造面临动态过程和分布外数据的挑战，传统确定性模型难以保证鲁棒性。
- 提出一种基于视觉不确定性量化的强化学习方法，通过概率分布描述打印片段，增强决策适应性。
- 通过异步行动和椭圆奖励塑造，智能体学习鲁棒控制策略，实现零样本迁移，有效纠正挤出缺陷。
📝 摘要（中文）
挤出增材制造中缺陷仍然普遍存在。尽管已经提出了许多人工智能驱动的方法来提高质量保证，但打印过程固有的动态性带来了持续的挑战。无论训练数据集多么全面，分布外数据仍然不可避免。因此，确定性模型通常难以保持鲁棒性，在新的或略有改变的打印环境中甚至完全失效。本文介绍了一种智能体，它可以实时动态调整流量和温度设定点，优化过程控制，同时解决训练效率和不确定性管理中的瓶颈。它将基于视觉的不确定性量化模块与强化学习控制器集成，使用概率分布来描述打印片段。虽然底层网络是确定性的，但这些不断变化的分布将适应性引入到决策过程中。视觉系统以一定的精度对材料挤出进行分类，生成相应的分布。深度Q学习控制器与一个根据视觉系统精度校准的模拟环境交互，使智能体能够学习最佳行动，并在必要时表现出适当的犹豫。通过执行异步行动和应用逐渐收紧的椭圆奖励塑造，控制器开发出鲁棒的、自适应的控制策略，考虑了过程参数之间的耦合效应。当使用零样本学习进行部署时，该智能体有效地弥合了模拟到真实的差距，可靠地纠正了轻微和严重的欠挤出和过挤出。除了挤出增材制造，这种可扩展的框架还可以在各种增材制造过程中实现实际的人工智能驱动的质量保证。
🔬 方法详解
问题定义：挤出增材制造过程中，由于过程的动态性和不可避免的分布外数据，传统的确定性模型难以保证质量控制的鲁棒性。现有方法难以适应新的或略有改变的打印环境，导致欠挤出和过挤出等缺陷。
核心思路：论文的核心思路是将不确定性量化融入到强化学习控制中。通过视觉系统对材料挤出进行分类，并生成相应的概率分布，以此来表示对当前状态的不确定性。强化学习智能体根据这些概率分布做出决策，从而在不确定性较高时采取更保守的行动，提高鲁棒性。
技术框架：整体框架包含视觉系统和强化学习控制器两个主要模块。视觉系统负责对打印过程进行观测，并输出材料挤出的分类结果及其对应的概率分布。强化学习控制器则根据视觉系统的输出，选择合适的流量和温度设定点，以优化过程控制。控制器与一个模拟环境交互，该模拟环境根据视觉系统的精度进行校准。通过异步行动和椭圆奖励塑造，智能体学习最优策略。
关键创新：最重要的创新点在于将视觉不确定性量化与强化学习控制相结合。传统方法通常假设环境是确定的，而该方法考虑了环境的不确定性，并将其融入到决策过程中。此外，使用概率分布来描述打印片段，使得智能体能够更好地适应不同的打印环境。
关键设计：视觉系统使用深度学习模型进行材料挤出的分类，并输出分类结果的概率分布。强化学习控制器使用深度Q学习算法，通过与模拟环境的交互学习最优策略。奖励函数采用椭圆奖励塑造，鼓励智能体在安全区域内行动，并逐步收紧椭圆，提高控制精度。异步行动的执行允许智能体在等待视觉系统反馈的同时继续探索环境。
🖼️ 关键图片
📊 实验亮点
该方法通过零样本学习，成功地将模拟环境中训练的智能体部署到真实环境中，有效地纠正了轻微和严重的欠挤出和过挤出问题。实验结果表明，该方法能够显著提高挤出增材制造的质量和鲁棒性，弥合了模拟到真实的差距。
🎯 应用场景
该研究成果可广泛应用于挤出增材制造的质量控制，例如3D打印机参数的自动优化、缺陷检测与纠正等。该框架具有可扩展性，能够推广到其他增材制造工艺，例如粉末床熔融等，实现人工智能驱动的质量保证，提高生产效率和产品质量。
📄 摘要（原文）
Defects in extrusion additive manufacturing remain common despite its prevalent use. While numerous AI-driven approaches have been proposed to improve quality assurance, the inherently dynamic nature of the printing process poses persistent challenges. Regardless of how comprehensive the training dataset is, out-of-distribution data remains inevitable. Consequently, deterministic models often struggle to maintain robustness and, in some cases, fail entirely when deployed in new or slightly altered printing environments. This work introduces an agent that dynamically adjusts flow rate and temperature setpoints in real time, optimizing process control while addressing bottlenecks in training efficiency and uncertainty management. It integrates a vision-based uncertainty quantification module with a reinforcement learning controller, using probabilistic distributions to describe printing segments. While the underlying networks are deterministic, these evolving distributions introduce adaptability into the decision-making process. The vision system classifies material extrusion with a certain level of precision, generating corresponding distributions. A deep Q-learning controller interacts with a simulated environment calibrated to the vision system precision, allowing the agent to learn optimal actions while demonstrating appropriate hesitation when necessary. By executing asynchronous actions and applying progressively tightened elliptical reward shaping, the controller develops robust, adaptive control strategies that account for the coupling effects between process parameters. When deployed with zero-shot learning, the agent effectively bridges the sim-to-real gap, correcting mild and severe under- and over-extrusion reliably. Beyond extrusion additive manufacturing, this scalable framework enables practical AI-driven quality assurance across various additive manufacturing processes.