基于强化学习与数字孪生的复杂重型装备工艺优化方法技术

本发明专利技术公开的基于强化学习与数字孪生的复杂重型装备工艺优化方法，步骤如下：1.采集实际物理车间的数据信息并对其预处理；2.构建数字孪生模型；3.建立物理车间生产线问题的数学模型；4.优化数学模型，得到理论最优决策方案；5.评估理论最优决策方案，确定最优决策方案；6.进行生产线的仿真，并在数字孪生模型中同步实时物理车间状态，完成复杂重型装备工艺优化；7.存储数据，为相应故障状态采取的强化学习模型和调度方案提供历史资料。本发明专利技术基于强化学习的复杂重型装备数字孪生调度方法，缓解铝挤压生产线对调度人员的过分依赖，调度人员不能实时根据车间状态对排产方案做出决策，该方法所得调度方案能更好适应复杂的生产过程。程。程。

【技术实现步骤摘要】
基于强化学习与数字孪生的复杂重型装备工艺优化方法


[0001]本专利技术属于工业智能调度控制
，涉及一种基于强化学习与数字孪生的复杂重型装备工艺优化方法。

技术介绍

[0002]随着我国制造业的快速兴起，现代制造业更加趋向于智能化、精益化和个性化定制的发展方向，其中铝挤压生产线作为生产复杂重型工业材料的重要生产线之一，其智能化和信息化在国民经济中起着重大的作用。工业制造排产调度问题核心是在保证生产线生产效率的同时对具有不同生产加工时间原材料的生产批次协调以及生产设备之间协同加工的问题。由于传统工业制造的单一性已经无法满足市场需求，铝材生产订单趋于小批量、定制化和多批次生产。在当前铝挤压生产线中，实际复杂生产现场的排产调度问题往往依赖于调度人员的主观经验需要对现场反复调试排错需要消耗大量的时间影响排产效率，因此如何利用现代智能技术使管理人员能实时获取当前车间状态，提高工业生产效率具有重要的现实意义。
[0003]现有解决排产调度问题大多利用生产调度算法，如启发式算法以及群智能优化算法都能够对实际排产问题进行有效调度，但这些方法生成的调度规则形式较为复杂且较容易忽略经验生产记录的价值，对企业过去的生产加工调度历史数据缺少关注，管理人员不能及时发现当前车间状态做出适当调整，不能满足当前智能制造系统构建的需求。
[0004]基于现有技术中解决排产调度问题的方法较为复杂且较容易忽略经验生产记录的价值，对企业过去的生产加工调度历史数据缺少关注，管理人员不能及时发现当前车间状态做出适当调整的问题，本申请提出了基于强化学习与数字孪生的复杂重型装备工艺优化方法。

技术实现思路

[0005]本专利技术的目的是提供一种基于强化学习与数字孪生的复杂重型装备工艺优化方法，解决了现有技术中铝挤压生产线排产调度未能充分利用历史生产数据导致生产决策效率较低和车间生产状态不能实时监测的问题。
[0006]本专利技术所采用的技术方案是，一种基于强化学习与数字孪生的复杂重型装备工艺优化方法，具体按照以下步骤实施：
[0007]步骤1、采集复杂重型装备实际物理车间的数据信息并对其进行预处理；
[0008]步骤2、根据预处理后的数据信息构建复杂重型装备生产线车间的数字孪生模型；
[0009]步骤3、确定物理车间生产线排产调度问题描述和实际加工生产时的约束条件，建立物理车间生产线问题的数学模型；
[0010]步骤4、优化数学模型，得到理论最优决策方案；
[0011]步骤5、评估理论最优决策方案，确定最优决策方案；
[0012]步骤6、将最优决策方案带入数字孪生模型，进行生产线的仿真，并在数字孪生模
型中同步实时物理车间状态，完成复杂重型装备工艺优化；
[0013]步骤7、存储复杂重型装备实际物理车间实施状态、故障状态、头脑风暴优化算法参数，强化学习模型及启用的最优决策方案信息，为相应故障状态采取的强化学习模型和调度方案提供历史资料。
[0014]本专利技术的特点还在于，
[0015]步骤1中数据信息包括人员信息、设备信息、物料信息、方法信息及环境信息；所述人员信息主要包括工人编号、工人名称、工人技术类型及工人负荷程度信息；设备信息主要包括设备编号、设备名称、设备类型、设备负荷程度及设备损耗程度信息；物料信息主要包括物料编号、物料名称、物料类型信息；方法信息主要包括方法编号、方法名称、方法类型、方法具体信息；环境信息主要包括环境编号、环境名称、环境类型及环境具体信息。
[0016]步骤1中预处理过程为去除掉数据信息中的冗余、错误信息。
[0017]步骤2中数字孪生模型的构建利用PlantSimulation以人机料法环的方式构建；数字孪生模型包括工人孪生模型、设备孪生模型、物料孪生模型、方法孪生模型和环境孪生模型。
[0018]步骤3中物理车间生产线排产调度问题为在满足生产约束的条件下，以生产线加工工期OPT最小为调度目标确定各个批次工件的加工顺序，排产调度数学模型建立如下：
[0019][0020]其中，c
i
表示第i批工件的完工时间，i＝1，2
…
n，S1，S2…
S
n
为所有批次工件的生产调度排序，OPT为加工完所有批次工件所需要的加工时间。
[0021]步骤3中实际加工生产时的约束条件为：在生产作业中每个批次均为连续加工，即该工件在当前工序加工完成后即可送到该批次工艺流程中下一个工序进行加工，批次生产过程中存在以下4个约束：
[0022]C(σ
y
，j)＝B(σ
y
，j)+Q(σ
y
，j)；y＝1，2，
…
，Y；j＝1，2，
…
，j；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0023]C(σ
y
，j)≤B(σ
y
，j+1)；y＝1，2，
…
，Y；j＝1，2，
…
，j；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0024]C(σ
y
，j)
‑
C(σ
e
，j)≥Q(σ
y
，j)；y＝1，2，
…
，Y；j＝1，2，
…
，j；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0025]C(σ
y
，j)
‑
B(σ
y
，j)＝Q(σ
y
，j)；y＝1，2，
…
，Y；j＝1，2，
…
，j；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0026]其中，Q(σ
y
，j)为批次y在机器j上的加工时间；B(σ
y
，j)为批次y在机器j上的开工时间，式(2)表示如果同一批次工件当前有加工工序，则该工序的完工时间等于该工序开工时间与加工时间之和，否则完工时间等于开工时间；式(3)表示同一工件的上一道工序完工时间和下一道工序开工时间的关系，即需要等待上一道工序加工完成后才能进行下一道工序加工；式(4)表示为任意加工工序中的加工设备一次只能加工一个批次工件，即任意两个不同批次y和e的加工工件不能同时在同道工序上加工；式(5)表示为任何一道工序的完工时间减去其开工时间不能小于其加工时间。
[0027]步骤4中数学模型优化过程采用头脑风暴优化算法及深度强化学习算法，数学模型优化过程具体为：
[0028]4.1、头脑风暴优化算法设置
[0029]4.1.1、编解码设置
[0030]采用整数编码的方式进行编码，解码过程通过编码结果确定工件加工时间的过
程，通过从左至右读取编码结果，得到加工的工件批次号，以编码结果的顺序模拟排产调度，得到的最大完工时间，即为该编码顺序下的加工完所有批次工件所需要的加工时间OPT；...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习与数字孪生的复杂重型装备工艺优化方法，其特征在于，具体按照以下步骤实施：步骤1、采集复杂重型装备实际物理车间的数据信息并对其进行预处理；步骤2、根据预处理后的数据信息构建复杂重型装备生产线车间的数字孪生模型；步骤3、确定物理车间生产线排产调度问题描述和实际加工生产时的约束条件，建立物理车间生产线问题的数学模型；步骤4、优化数学模型，得到理论最优决策方案；步骤5、评估理论最优决策方案，确定最优决策方案；步骤6、将最优决策方案带入数字孪生模型，进行生产线的仿真，并在数字孪生模型中同步实时物理车间状态，完成复杂重型装备工艺优化；步骤7、存储复杂重型装备实际物理车间实施状态、故障状态、头脑风暴优化算法参数，强化学习模型及启用的最优决策方案信息，为相应故障状态采取的强化学习模型和调度方案提供历史资料。2.根据权利要求1所述的基于强化学习与数字孪生的复杂重型装备工艺优化方法，其特征在于，步骤1中所述的数据信息包括人员信息、设备信息、物料信息、方法信息及环境信息；所述人员信息主要包括工人编号、工人名称、工人技术类型及工人负荷程度信息；设备信息主要包括设备编号、设备名称、设备类型、设备负荷程度及设备损耗程度信息；物料信息主要包括物料编号、物料名称、物料类型信息；方法信息主要包括方法编号、方法名称、方法类型、方法具体信息；环境信息主要包括环境编号、环境名称、环境类型及环境具体信息。3.根据权利要求1所述的基于强化学习与数字孪生的复杂重型装备工艺优化方法，其特征在于，步骤1中所述的预处理过程为去除掉数据信息中的冗余、错误信息。4.根据权利要求1所述的基于强化学习与数字孪生的复杂重型装备工艺优化方法，其特征在于，步骤2中所述数字孪生模型的构建利用PlantSimulation以人机料法环的方式构建；所述数字孪生模型包括工人孪生模型、设备孪生模型、物料孪生模型、方法孪生模型和环境孪生模型。5.根据权利要求1所述的基于强化学习与数字孪生的复杂重型装备工艺优化方法，其特征在于，步骤3中所述物理车间生产线排产调度问题为在满足生产约束的条件下，以生产线加工工期OPT最小为调度目标确定各个批次工件的加工顺序，排产调度数学模型建立如下：其中，c
i
表示第i批工件的完工时间，i＝1，2
…
n，S1，S2…
S
n
为所有批次工件的生产调度排序，OPT为加工完所有批次工件所需要的加工时间。6.根据权利要求1所述的基于强化学习与数字孪生的复杂重型装备工艺优化方法，其特征在于，步骤3中所述实际加工生产时的约束条件为：在生产作业中每个批次均为连续加工，即该工件在当前工序加工完成后即可送到该批次工艺流程中下一个工序进行加工，批次生产过程中存在以下4个约束：C(σ
y
，j)＝B(σ
y
，j)+Q(σ
y
，j)；y＝1，2，
…
，Y；j＝1，2，
…
，j；
ꢀꢀꢀꢀ
(2)C(σ
y
，j)≤B(σ
y
，j+1)；y＝1，2，
…
，Y；j＝1，2，
…
，j；
ꢀꢀꢀꢀ
(3)
C(σ
y
，j)
‑
C
′
(σ
e
，j)≥Q(σ
y
，j)；y＝1，2，
…
，Y；j＝1，2，
…
，j；
ꢀꢀꢀꢀ
(4)C(σ
y
，j)
‑
B(σ
y
，j)＝Q(σ
y
，j)；y＝1，2，
…
，Y；j＝1，2，
…
，j；
ꢀꢀꢀꢀ
(5)其中，Q(σ
y
，j)为批次y在机器j上的加工时间；B(σ
y
，j)为批次y在机器j上的开工时间，式(2)表示如果同一批次工件当前有加工工序，则该工序的完工时间等于该工序开工时间与加工时间之和，否则完工时间等于开工时间；式(3)表示同一工件的上一道工序完工时间和下一道工序开工时间的关系，即需要等待上一道工序加工完成后才能进行下一道工序加工；式(4)表示为任意加工工序中的加工设备一次只能加工一个批次工件，即任意两个不同批次y和e的加工工件不能同时在同道工序上加工；式(5)表示为任何一道工序的完工时间减去其开工时间不能小于其加工时间。7.根据权利要求1所述的基于强化学习与数字孪生的复杂重型装备工艺优化方法，其特征在于，所述步骤4中数学模型优化过程采用头脑风暴优化算法及深度强化学习算法。8.根据权利要求7所述的基于强化学习与数字孪生的复杂重型装备工艺优化方法，其特征在于，所述数学模型优化过程具体为：4.1、头脑风暴优化算法设置4.1.1、编解码设置采用整数编码的方式进行编码，解码过程通过编码结果确定工件加工时间的过程，通过从左至右读取编码结果，得到加工的工件批次号，以编码结果的顺序模拟排产调度，得到的最大完工时间，即为该编码顺序下的加工完所有批次工件所需要的加工时间OPT；4.1.2、初始化设置定义解决优化排产调度问题的头脑风暴优化算法参数，令迭代次数为T，种群规模为N，扰动概率参数为(P
c...

【专利技术属性】
技术研发人员：吴亚丽，金璐，杨延西，米嘉阳，吴铎，王同同，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：