基于强化学习的双激光器路径缺陷自适应调整方法技术

本发明专利技术设计了一种基于强化学习的双激光器路径缺陷自适应调整方法，以强化学习算法Policy Gradients算法为基础，将打印过程图像通过摄像头反馈给程序，并对缺陷与未打印部分进行重新规划，使打印头抬起次数最少，转弯最少，空跳路径最短。本发明专利技术利用超声微锻造和在线监测实现缺陷在线检测，根据检测缺陷区域以及原始路径对双激光器剩余路径重新进行协同路径规划，可以大幅提高打印制造质量，提升制件合格率。件合格率。件合格率。

【技术实现步骤摘要】
基于强化学习的双激光器路径缺陷自适应调整方法


[0001]本专利技术属于人工智能及增材制造领域，涉及一种基于强化学习的双激光器路径缺陷自适应调整方法。

技术介绍

[0002]随着制造业及其智能化的发展，制造行业的各个领域与计算机智能技术的结合得到了更好发展，其中，增材制造行业的发展前景也更为广阔。将增材制造技术应用于航空航天制造、医疗发展以及牙科制造技术等一些行业，能够有效提高生产效率以及制造精度。增材制造的过程是将设计好的模型通过建模、切片分层、路径规划以及增材制造打印堆积几个步骤在短时间内将模型零件制造成型。
[0003]增材制造技术的飞速发展给人们留下深刻印象，最早采用AM技术进行系列生产的行业有航空航天、医疗、牙科和一些消费品行业。增材制造倾向于生产数量相对较少、价值高且复杂的零件类型，随着制造速度的提高，总成本的降低，使AM能够应用于更广泛的生产应用。汽车制造行业就是一个例子，已经使用增材制造进行了近20年的原型设计。与传统的减材制造相比，增材制造技术有着广泛应用和大量的优势，但是目前增材制造技术的应用受到了制造效率低下的限制，这已引起了制造方法、材料改进、算法优化、设备制造等领域的广泛关注。其中，路径规划做为增材制造整个过程中的一个关键环节，其通过确定激光头运动路径，对打印质量好坏、打印制造时间长短有着至关重要的作用。
[0004]在增材制造的过程中，由于多因素的复合交互作用，可能出现夹杂、微孔等缺陷，进而造成制件内部产生不可预知的裂纹，甚至制件发生严重变形或者断裂。这就需要在打印的过程中预先根据模型的实际情况适当的生成优化的打印路径来提高打印质量，修补存在的缺陷。
[0005]增材制造技术作为引领新的科技革命的重要技术之一，未来发展前景十分广阔。随着经济发展和人民生活水平的提高，消费者逐渐增加个性化的需求，增材制造将联合人工智能技术，推动制造业智能化发展，以及生产方向转为个性化定制。未来，随着3D打印机、材料和后处理技术的发展，3D打印的应用领域将不断扩大。
[0006]路径规划作为增材制造技术中的一个关键环节，其通过规划激光头的运动轨迹来控制整体的打印过程，对打印质量以及打印效率有着巨大的影响。现阶段常用的Z字型、偏执轮廓型路径规划算法优劣势明显，且针对大型制件的表现较差，随着打印机制造技术的发展，打印机的种类也越来越多，不再局限于单个打印喷头，而是出现了使用多个打印喷头同时工作的3D打印机，但是对于多喷头打印机的研究仍然比较少，现在主要研究的是双喷头3D打印机。
[0007]但在打印的过程中，就算事先进行的路径规划做的很好，也不可避免地因为一些不可预知的原因而产生缺陷。而在打印过程中进行自适应的动态路径缺陷的补全可以大大降低打印所需时间，提高打印成品的质量，提高整体工作效率。
[0008]《增材制造中打印路径规划算法的研究与实现》中使用旅行商问题的方法进行静
态的路径规划，没有提出动态的路径缺陷自适应调整的方法。

技术实现思路

[0009]为解决上述问题，本专利技术提出了一种基于强化学习的双激光器路径缺陷自适应调整方法。本专利技术采用了强化学习的方法，建立一个强化学习模型，用神经网络选择打印动作，能实现动态的路径规划。本专利技术打印路径效率更高，具有路径缺陷自适应调整能力，可以大幅提高打印制造质量，提升制件合格率。
[0010]本专利技术的技术方案：
[0011]一种基于强化学习的双激光器路径缺陷自适应调整方法，首先要镜头观察实时打印情况，出现缺陷要捕捉缺陷，然后将捕捉到的缺陷情况与还未打印的部分合成一个部分来进行重新规划，每次捕捉到缺陷都进行一次重新规划，这样的打印结果就会避免缺陷的存在。
[0012]具体步骤如下：
[0013]第一步，建立强化学习模型
[0014](1)强化学习算法
[0015]强化学习在处理连续决策问题上有着明显优势，经常用于解决机器人、游戏、交通等领域的路径规划问题。根据增材制造的特点以及任务目标，同样可通过对强化学习进行改进以提高打印效率。
[0016]首先，将强化学习系统与3D打印的路径规划系统进行元素映射，形成对应关系：将强化学习中的智能体作为激光头，二维切片层作为可交互环境，状态则是激光头在当前切片层中的所处的位置，动作是激光头选择的下一步所处的位置。激光头处于某一状态时，通过观察当前切片层获取信息，作出决策，决策具体可分为继续打印和抬起激光头，而继续打印这一行动又具体分为继续直行和转弯。激光头做出决策后，环境的信息被更新，同时根据激光头做出的决策给予某个数值奖励或惩罚。根据环境给出的反馈以及观察到的信息，激光头会做出下一个决策。如此循环，在激光头和环境不断交互的过程中，不断学习如何寻找到最优路径。
[0017]而两个激光头就是两个智能体，为了得到双激光头的路径补全算法，还需要将两个激光头的协同作业考虑在内，因此在计算抬起次数，转弯次数等参数时，需要将两个智能体的行为和奖赏算在一起。
[0018]设置奖励与惩罚条件：根据3D打印传统路径规划算法的优缺点来进行设置奖励与惩罚条件。条件一：在实际打印中能够走直线的情况就尽量减少转弯，在3D打印过程中，转弯会造成转角处材料堆积的情况。因此当激光头连续朝着一个方向运动的时候会给予奖励，当激光头的下一个行为为转弯时设置惩罚。条件二：在打印中如果激光头经常启停同样会影响到最终打印的模型成型效果不好，因此需要减少激光头的启停次数，当激光头的动作发生抬起时需要进行惩罚。
[0019](2)PolicyGradients算法
[0020]Policy Gradients这种策略梯度的算法归类于策略优化算法中，而不是以迭代为基础的动态规划算法。Policy Gradient不通过误差反向传播，它通过观测信息选出一个行为直接进行反向传播，当然出人意料的是他并没有误差，而是利用reward奖励直接对选择
行为的可能性进行增强和减弱，好的行为会被增加下一次被选中的概率，不好的行为会被减弱下次被选中的概率。它的优势在于连续的动作空间(或者高维空间)中更加高效，可以实现随机化的策略，某种情况下，价值函数可能比较难以计算，而策略函数较容易。
[0021]通过策略梯度算法进行动作选择：定义一个神经网络，将状态和动作当作神经网络的输入，将神经网络选择的行为反向传递，使之下次被选择的可能性增加，如果输出的动作获得惩罚，那输出的动作可能性增加的幅度随之被减低，如果输出的动作获得奖励，那就在这次反向传递的时候加大力度，让它下次被选中的可能性更大。设置一个记忆库，每次更新的时候，都可以随机抽取之前的经历进行学习。
[0022]第二步，在打印过程中实时捕捉缺陷
[0023]位于打印机上方的摄像机在打印时将每一层的打印情况实时地存储为图片形式，在检测到缺陷存在时，给出信号，将产生缺陷时的那一层的打印情况以图片的形式发出。
[0024]第三步，进行缺陷自适应调整
[0025]将步骤二中获得的图像中缺陷部分和未打印本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习的双激光器路径缺陷自适应调整方法，其特征在于，具体步骤如下：步骤一、建立强化学习模型将强化学习系统与3D打印的路径规划系统进行元素映射，形成对应关系：将强化学习中的智能体作为激光头，二维切片层作为可交互环境，状态则是激光头在当前切片层中的所处的位置，动作是激光头选择的下一步所处的位置；激光头处于某一状态时，通过观察当前切片层获取信息，作出决策，决策分为继续打印和抬起激光头，而继续打印这一行动又具体分为继续直行和转弯；激光头做出决策后，环境的信息被更新，同时根据激光头做出的决策给予某个数值的奖励或惩罚；根据环境给出的反馈以及观察到的信息，激光头会做出下一个决策；如此循环，在激光头和环境不断交互的过程中，不断学习如何寻找到最优路径；其中：设置奖励与惩罚条件：条件一：在实际打印中能够走直线的情况就尽量减少转弯，在3D打印过程中，转弯会造成转角处材料堆积的情况；因此当激光头连续朝着一个方向运动的时候会给予奖励，当激光头的下一个行为为转弯时设置惩罚；条件二：在打印中...

【专利技术属性】
技术研发人员：刘林升，王祎，范永刚，崔紫微，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：