Solve paint color effect prediction problem in trajectory optimization of spray painting robot using artificial neural network inspired by the Kubelka Munk model

📄 arXiv: 2409.04558v1 📥 PDF

作者: Hexiang Wang, Zhiyuan Bi, Zhen Cheng, Xinru Li, Jiake Zhu, Liyuan Jiang, Hao Li, Shizhou Lu

分类: cs.RO

发布日期: 2024-09-06

💡 一句话要点

提出基于Kubelka-Munk模型和ANN的喷涂机器人轨迹优化方法，解决多色喷涂颜色效果预测难题。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 喷涂机器人 轨迹优化 颜色效果预测 Kubelka-Munk模型 人工神经网络

📋 核心要点

  1. 传统喷涂轨迹优化方法难以准确预测多色喷涂的颜色效果，无法实现对颜色区域和边缘的精确控制。
  2. 受Kubelka-Munk模型启发，结合3D视觉和神经网络，提出一种像素级颜色效果预测方法，用于优化喷涂轨迹。
  3. 通过深度相机和点云处理构建数据集，并改进多层感知器模型，以实现精确的颜色预测。

📝 摘要（中文）

本文针对喷涂机器人轨迹规划技术在多色喷涂应用中的局限性，提出了一种基于Kubelka-Munk模型和人工神经网络的喷涂颜色效果预测方法。传统方法基于模拟厚度优化喷枪轨迹，仅能定性反映颜色分布，无法在像素级别模拟喷涂颜色效果，难以精确控制颜色覆盖区域和边缘渐变，也难以处理多色组合喷涂。该方法结合3D机器视觉和人工神经网络，能够从工件表面颜色维度以像素级精度预测喷枪轨迹的执行效果。在此基础上，该方法可替代传统的厚度模拟方法，建立喷枪轨迹优化问题的目标函数，从而解决多色喷涂的喷枪轨迹优化难题。本文首先通过分析Kubelka-Munk涂膜颜色渲染模型，确定喷涂颜色效果预测问题的数学模型，并借助深度相机和点云处理算法建立喷涂颜色效果数据集。然后，利用门控和残差结构改进多层感知器模型，用于颜色预测任务。后续内容未知。

🔬 方法详解

问题定义：现有喷涂机器人轨迹规划技术主要应用于单色喷涂，对于多色喷涂，传统方法基于模拟厚度进行轨迹优化，无法在像素级别精确预测颜色效果，导致难以控制颜色覆盖区域和边缘渐变，以及处理多色组合喷涂的情况。因此，需要一种能够精确预测多色喷涂颜色效果的方法，以实现更精细的喷涂控制。

核心思路：论文的核心思路是利用Kubelka-Munk模型来建立喷涂颜色与喷涂量之间的关系，并结合人工神经网络学习这种关系，从而实现像素级别的颜色效果预测。Kubelka-Munk模型能够描述光在散射介质中的传播，适用于描述涂膜的颜色渲染过程。通过神经网络学习该模型，可以实现从喷涂参数到颜色效果的精确映射。

技术框架：该方法主要包含以下几个阶段：1) 数据采集：利用深度相机和点云处理算法建立喷涂颜色效果数据集，包含喷涂参数（如喷涂量、喷涂轨迹）和对应的颜色信息。2) 模型构建：基于Kubelka-Munk模型建立颜色效果预测的数学模型。3) 网络训练：改进多层感知器模型，利用门控和残差结构提高模型的学习能力，并使用采集的数据集进行训练。4) 轨迹优化：将颜色效果预测模型应用于喷涂轨迹优化问题，替代传统的厚度模拟方法，建立新的目标函数。

关键创新：该方法最重要的创新点在于将Kubelka-Munk模型引入喷涂机器人轨迹优化中，并结合人工神经网络实现了像素级别的颜色效果预测。与传统的基于厚度模拟的方法相比，该方法能够更准确地预测颜色效果，从而实现更精细的喷涂控制。

关键设计：论文改进了多层感知器模型，使用了门控和残差结构，以提高模型的学习能力和泛化能力。具体的技术细节，如门控机制的类型、残差连接的方式、损失函数的选择等，在摘要中未提及，属于未知信息。数据集的构建方式，包括深度相机的选择、点云处理算法的细节等，也属于未知信息。

📊 实验亮点

摘要中未提供具体的实验结果和性能数据，因此无法总结实验亮点。后续内容未知。

🎯 应用场景

该研究成果可应用于汽车、航空航天、家具等领域的多色喷涂场景，实现更精细、更个性化的喷涂效果。通过精确控制颜色区域和边缘渐变，可以提高产品的美观度和附加值。此外，该方法还可以用于喷涂工艺的优化和质量控制，降低生产成本，提高生产效率。

📄 摘要（原文）

Currently, the spray-painting robot trajectory planning technology aiming at spray painting quality mainly applies to single-color spraying. Conventional methods of optimizing the spray gun trajectory based on simulated thickness can only qualitatively reflect the color distribution, and can not simulate the color effect of spray painting at the pixel level. Therefore, it is not possible to accurately control the area covered by the color and the gradation of the edges of the area, and it is also difficult to deal with the situation where multiple colors of paint are sprayed in combination. To solve the above problems, this paper is inspired by the Kubelka-Munk model and combines the 3D machine vision method and artificial neural network to propose a spray painting color effect prediction method. The method is enabled to predict the execution effect of the spray gun trajectory with pixel-level accuracy from the dimension of the surface color of the workpiece after spray painting. On this basis, the method can be used to replace the traditional thickness simulation method to establish the objective function of the spray gun trajectory optimization problem, and thus solve the difficult problem of spray gun trajectory optimization for multi-color paint combination spraying. In this paper, the mathematical model of the spray painting color effect prediction problem is first determined through the analysis of the Kubelka-Munk paint film color rendering model, and at the same time, the spray painting color effect dataset is established with the help of the depth camera and point cloud processing algorithm. After that, the multilayer perceptron model was improved with the help of gating and residual structure and was used for the color prediction task. To verify ...