System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于深度强化学习的增材路径工艺协同优化方法技术_技高网

一种基于深度强化学习的增材路径工艺协同优化方法技术

技术编号:42385832 阅读:3 留言:0更新日期:2024-08-16 16:13
本发明专利技术公开了一种基于深度强化学习的增材路径工艺协同优化方法,通过分别训练路径规划强化学习模型和工艺优化强化学习模型,然后将两者耦合,通过实时将路径规划模型若干较优动作输入工艺优化模型,获得最优路径和工艺组合,进一步将其输入到路径规划模型进行沉积状态更新,不断迭代,从而获得最优工艺路径组合。本方法具有良好的泛化能力,并不局限于单一材料,单一热源和单一形状构件,本方法不仅能减少人力设计路径成本,还可以减少工艺摸索过程中的材料成本和时间成本,并且还有利于提高增材构件的性能。

【技术实现步骤摘要】

本专利技术涉及一种基于深度强化学习的增材路径工艺协同优化方法,属于梯度材料增材制造。


技术介绍

1、增材制造是一种新兴的材料加工技术,其一种通过逐层添加材料来制造三维物体的过程,具有材料利用率高,设计自由度高等优点。增材制造的构件质量和性能与增材沉积路径和沉积工艺参数直接相关。然而,目前增材制造沉积路径规划主要通过直线式,折线式,轮廓式等几种简单路径组成,进一步综合考虑路径对增材后构件性能的影响的路径规划方法则更少,适用于零件级的综合考虑路径和工艺同步优化方法则没有。

2、近年来,深度强化学习是机器学习领域的一个重要分支,它结合了深度学习和强化学习,是一种通过构建和训练多层(深层)神经网络来学习数据表示的方法,而强化学习则是一种让智能体在环境中通过与环境的交互来学习最优行为策略的方法。其有望于解决零件级增材路径与工艺协同优化问题,专利:cn116629128a-一种基于深度强化学习的控制电弧增材成型的方法给出了基于现有路径的工艺优化方法,达到了控制增材成型的效果,在此基础上,有望进一步利用深度强化学习解决上诉问题。


技术实现思路

1、本专利技术为解决现有技术中增材构件的性能低,不能解决零件级增材路径与工艺协同优化的技术问题,进而提出一种基于深度强化学习的增材路径工艺协同优化方法。

2、本专利技术为解决上述问题采取的技术方案是:本专利技术提出一种基于深度强化学习的增材路径工艺协同优化方法,包括:

3、步骤1:构建增材路径规划强化学习环境;

<p>4、步骤2:设置路径规划智能体奖励机制,用于评估智能体选择的沉积路径;

5、步骤3:训练路径规划强化学习模型;

6、步骤4:开发增材工艺优化模型环境并进行训练;

7、步骤5:将路径规划强化学习模型和工艺优化模型进行耦合,得到路径工艺协同互优化强化学习模型;

8、步骤6:对路径工艺协同互优化强化学习模型进行进一步训练;

9、步骤7:将增材构件输入训练后的路径工艺协同互优化强化学习模型中,获取最优沉积路径和最优工艺参数,基于最优沉积路径和最优工艺参数进行实际增材。

10、可选的,步骤1中增材路径规划强化学习环境包括路径规划的环境边界、初始路径规划状态、路径规划终止状态、智能体的运动空间和路径规划可视化。

11、可选的,步骤2中智能体奖励机制为奖励函数,奖励函数为沉积道数,沉积面积,交叉沉积节点,沉积道曲率和夹角的函数,基于奖励函数综合评估智能体所采取沉积路径的好坏。

12、可选的,步骤3中训练路径规划强化学习模型的步骤包括:

13、步骤3.1:将智能体在构建的路径规划环境内实时运动的状态作为模型输入;

14、步骤3.2:获取智能体对当前路径规划状态环境状态的评估,并计算智能体获取的奖励,采用强化学习算法对模型参数进行优化更新;

15、步骤3.3:重复步骤3.1-步骤3.2,使得智能体在迭代训练中获取的奖励不断提升,得到优化后的路径规划模型。

16、可选的,步骤4中对增材工艺优化进行优化的步骤包括:

17、步骤4.1:开发基于路径的网格生成算法,并进一步搭建增材制造热力耦合全流程自动求解模型;

18、步骤4.2:采用多机并行方式对增材路径工艺优化模型进行训练;

19、步骤4.3:将增材实时的温度场、应力场和变形场数据作为环境状态输入训练后的增材路径工艺优化模型,采用3d卷积网络对环境状态的时空信息进行提取;

20、步骤4.4:基于提取的时空信息对当前增材的环境状态进行评估;

21、步骤4.5:将智能体获取的奖励定义为熔深、熔宽、应力、变形和峰值温度的函数,通过强化学习算法对模型参数进行优化,获取优化后的工艺规划模型;

22、步骤4.6:基于训练后的增材工艺优化模型输出优化后的工艺参数以维持沉积道成型稳定,并最小化应力变形。

23、可选的,步骤5中获取路径工艺协同互优化强化学习模型的步骤包括:

24、步骤5.1:同步初始化路径规划强化学习模型和增材工艺优化强化学习模型;

25、步骤5.2:将路径规划强化学习模型中智能体采取的实时运动中所蕴含的沉积路径信息输入到增材路径工艺优化模型中,进行对应沉积路径的增材热力耦合模拟;

26、步骤5.3:通过增材工艺优化模型获取最优沉积路径和最优工艺参数;

27、步骤5.4:将最优沉积路径进一步输入路径规划强化学习模型中,路径规划模型智能体采取下一时刻的沉积路径;

28、步骤5.5:重复步骤5.2-步骤5.4,进行下一步路径规划并不断迭代,直至完成路径和工艺的互优化,得到增材路径工艺协同互优化的沉积方案。

29、本专利技术的有益效果是:本专利技术通过对多样化增材构件切片(即路径优化环境边界)进行基于强化学习算法的路径优化,进一步通过基于数值模拟的工艺优化模型,通过将两者耦合,不断迭代,实现路径和工艺的互优化,最终获得最优的沉积路径和与之匹配的工艺参数。本方法具有良好的泛化能力,并不局限于单一材料,单一热源和单一形状构件,本方法不仅能减少人力设计路径成本,还可以减少工艺摸索过程中的材料成本和时间成本,并且还有利于提高增材构件的性能。

本文档来自技高网
...

【技术保护点】

1.一种基于深度强化学习的增材路径工艺协同优化方法,其特征在于,所述一种基于深度强化学习的增材路径工艺协同优化方法的步骤包括:

2.根据权利要求1所述的一种基于深度强化学习的增材路径工艺协同优化方法,其特征在于,步骤1中增材路径规划强化学习环境包括路径规划的环境边界、初始路径规划状态、路径规划终止状态、智能体的运动空间和路径规划可视化。

3.根据权利要求1所述的一种基于深度强化学习的增材路径工艺协同优化方法,其特征在于,步骤2中智能体奖励机制为奖励函数,奖励函数为沉积道数,沉积面积,交叉沉积节点,沉积道曲率和夹角的函数,基于所述奖励函数对智能体所采取沉积路径进行综合评估。

4.根据权利要求1所述的一种基于深度强化学习的增材路径工艺协同优化方法,其特征在于,步骤3中训练路径规划强化学习模型的步骤包括:

5.根据权利要求1所述的一种基于深度强化学习的增材路径工艺协同优化方法,其特征在于,步骤4中对当前智能体选择的路径环境进行优化的步骤包括:

6.根据权利要求1所述的一种基于深度强化学习的增材路径工艺协同优化方法,其特征在于,步骤5中获取路径工艺协同互优化强化学习模型的步骤包括:

...

【技术特征摘要】

1.一种基于深度强化学习的增材路径工艺协同优化方法,其特征在于,所述一种基于深度强化学习的增材路径工艺协同优化方法的步骤包括:

2.根据权利要求1所述的一种基于深度强化学习的增材路径工艺协同优化方法,其特征在于,步骤1中增材路径规划强化学习环境包括路径规划的环境边界、初始路径规划状态、路径规划终止状态、智能体的运动空间和路径规划可视化。

3.根据权利要求1所述的一种基于深度强化学习的增材路径工艺协同优化方法,其特征在于,步骤2中智能体奖励机制为奖励函数,奖励函数为沉积道数,沉积面积,交叉沉积节点...

【专利技术属性】
技术研发人员:邓路兵林三宝董博伦蔡笑宇赵昀张本顺孙宏伟
申请(专利权)人:哈尔滨工业大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1