工厂物料管理方法、装置和电子设备制造方法及图纸

本发明专利技术实施例提出一种工厂物料管理方法、装置和电子设备，涉及工厂管理领域，其中，该工厂物料管理方法中，预先在监测区域内通过标示线划分出不允许放置物料的地面区域，该方法通过获取监测区域的图像；应用预先训练的图像语义分割模型，基于标示线，对监测区域的图像进行分割，确定不允许放置物料的图像区域；以及应用预先训练的物料识别模型，对监测区域的图像中的物料进行识别，确定物料堆放的图像区域；如果物料堆放的图像区域和不允许放置物料的图像区域之间交叉区域相对于的物料堆放的图像区域的占比大于第一阈值，确定存在物料乱放情况；该方法缓解了现有技术中物料管理中存在的识别结果准确率低的问题，能够提高识别结果的准确率。

Plant material management methods, devices and electronic equipment

【技术实现步骤摘要】
工厂物料管理方法、装置和电子设备
本专利技术涉及工厂管理领域，具体而言，涉及一种工厂物料管理方法、装置和电子设备。
技术介绍
6S管理是一种现代企业管理模式，其中,该6S可以包括整理(SEIRI)、整顿(SEITON)、清扫(SEISO)、清洁(SEIKETSU)、素养(SHITSUKE)、安全(SECURITY)等。6S管理是现代工厂管理的一种很重要的方法，包括人、机、料、法、环等各个环节。目前，现有的6S管理中对物料的管理主要是由物料管理员人工巡视物料来实现对工厂物料的管理，例如对工厂内的物料是否存在乱放行为进行判断。但是，这种物料管理方法依靠人工管理的方式依赖于物料管理员的主观判断，存在识别结果准确度较低的问题。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种工厂物料管理方法、装置、电子设备和计算机可读存储介质。为了实现上述目的，本专利技术实施例采用的技术方案如下：第一方面，本专利技术实施例提供一种工厂物料管理方法，预先在监测区域内通过标示线划分出不允许放置物料的地面区域，所述方法包括以下步骤：获取监测区域的图像；应用预先训练的图像语义分割模型，基于所述标示线，对所述监测区域的图像进行分割，确定不允许放置物料的图像区域；应用预先训练的物料识别模型，对所述监测区域的图像中的物料进行识别，确定物料堆放的图像区域；如果所述物料堆放的图像区域和所述不允许放置物料的图像区域之间交叉区域相对于所述的物料堆放的图像区域的占比大于第一阈值，确定存在物料乱放情况。在可选的实施方式中，所述图像语义分割模型为基于ResNet的网络模型；所述物料识别模型为基于MaskR-CNN的物体检测模型。在可选的实施方式中，在所述获取监测区域的图像的步骤之前，所述方法还包括：获取训练样本，所述训练样本包括所述监测区域的多角度、多场景的图像样本，所述图像样本中包括预先确定的不允许放置物料的图像区域的像素级标注；应用所述训练样本，对初始的图像语义分割模型进行训练，得到训练后的图像语义分割模型。在可选的实施方式中，所述应用预先训练的物料识别模型，对所述监测区域的图像中的物料进行识别，确定物料堆放的图像区域的步骤包括：应用预先训练的物料识别模型，对所述监测区域的图像中的物料进行识别，得到物料的待确认图像区域；应用预先训练的作业者识别模型，所述监测区域的图像中的作业者进行识别，并确定所述作业者的位置，所述作业者包括作业人员和/或作业工具；如果所述待确认图像区域与作业者的距离大于第二阈值，确定待确认图像区域为所述物料堆放的图像区域。在可选的实施方式中，所述方法还包括：如果所述待确认图像区域与作业者的距离小于第二阈值，确定待确认图像区域中的物料为临时堆放。在可选的实施方式中，所述方法还包括：判断当前时间是否为非人工作业时间；如果当前时间为非人工作业时间，执行所述应用预先训练的物料识别模型，对所述监测区域的图像中的物料进行识别，确定物料堆放的图像区域的步骤。第二方面，本专利技术实施例提供一种工厂物料管理方法，预先在监测区域内通过第二标示线标示出允许放置物料的地面区域；所述方法包括：获取监测区域的图像；应用预先训练的第二图像语义分割模型，基于所述第二标示线，对所述监测区域的图像进行分割，确定允许放置物料的图像区域；应用预先训练的物料识别模型，对所述监测区域的图像中的物料进行识别，确定物料堆放的图像区域；如果所述物料堆放的图像区域和所述允许放置物料的图像区域之间交叉区域相对于所述的物料堆放的图像区域的占比小于预设阈值，确定存在物料乱放情况。第三方面，本专利技术实施例提供一种工厂物料管理装置，预先在监测区域内通过标示线划分出不允许放置物料的地面区域，所述装置包括：获取模块，用于获取监测区域的图像；分割模块，用于应用预先训练的图像语义分割模型，基于所述标示线，对所述监测区域的图像进行分割，确定不允许放置物料的图像区域；识别模块，用于应用预先训练的物料识别模型，对所述监测区域的图像中的物料进行识别，确定物料堆放的图像区域；确定模块，用于如果所述物料堆放的图像区域和所述不允许放置物料的图像区域之间交叉区域相对于所述的物料堆放的图像区域的占比大于第一阈值，确定存在物料乱放情况。第四方面，本专利技术实施例提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现前述实施方式任一所述的方法。第五方面，本专利技术实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述实施方式中任一项所述的方法。本专利技术实施例提供的工厂物料管理方法、装置、电子设备和计算机可读存储介质，其中，该工厂物料管理方法中，预先在监测区域内通过标示线划分出不允许放置物料的地面区域，该方法通过首先获取监测区域的图像；然后应用预先训练的图像语义分割模型，基于所述标示线，对所述监测区域的图像进行分割，确定不允许放置物料的图像区域；以及应用预先训练的物料识别模型，对所述监测区域的图像中的物料进行识别，确定物料堆放的图像区域；如果所述物料堆放的图像区域和所述不允许放置物料的图像区域之间交叉区域相对于所述的物料堆放的图像区域的占比大于第一阈值，确定存在物料乱放情况。因此，本专利技术实施例提供的技术方案，通过预先在监测区域进行地面区域标注，然后应用预先训练好的图像语义分割模型来识别不允许放置物料的地面区域，以及应用预先训练好的物料识别模型对来识别物料对方的物料区域；最后通过计算物料区域在地面区域的百分比来判定是否有物料乱放的情况发生；该方法缓解了现有技术中物料管理中存在的识别结果准确率低的问题，能够提高识别结果的准确率。此外，该方法是一种基于地面语义分割和物料检测的智能化的厂房内物料管理方法，可以智能地识别厂房内的物料等，并分析物料是否存在乱摆乱放的情况，便于进行6S数据的实时在线管理。为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1示出了本专利技术实施例提供的一种工厂物料管理方法的流程图；图2示出了本专利技术实施例提供的一种获取图像语义分割模型的流程图；图3示出了图1中步骤S106的流程图；图4示出了本专利技术实施例提供的另一种工厂物料管理方法的流程图；图5示出了本专利技术实施例提供的一种工厂物料管理装置的示意图；图6示出了本专利技术实施例提供的另一种工厂物料管理装置的示意图；图7示出了本专利技术实施例提供的一种电子设备的本文档来自技高网...

【技术保护点】
1.一种工厂物料管理方法，其特征在于，预先在监测区域内通过标示线划分出不允许放置物料的地面区域，所述方法包括以下步骤：/n获取监测区域的图像；/n应用预先训练的图像语义分割模型，基于所述标示线，对所述监测区域的图像进行分割，确定不允许放置物料的图像区域；/n应用预先训练的物料识别模型，对所述监测区域的图像中的物料进行识别，确定物料堆放的图像区域；/n如果所述物料堆放的图像区域和所述不允许放置物料的图像区域之间交叉区域相对于所述的物料堆放的图像区域的占比大于第一阈值，确定存在物料乱放情况。/n

【技术特征摘要】
1.一种工厂物料管理方法，其特征在于，预先在监测区域内通过标示线划分出不允许放置物料的地面区域，所述方法包括以下步骤：
获取监测区域的图像；
应用预先训练的图像语义分割模型，基于所述标示线，对所述监测区域的图像进行分割，确定不允许放置物料的图像区域；
应用预先训练的物料识别模型，对所述监测区域的图像中的物料进行识别，确定物料堆放的图像区域；
如果所述物料堆放的图像区域和所述不允许放置物料的图像区域之间交叉区域相对于所述的物料堆放的图像区域的占比大于第一阈值，确定存在物料乱放情况。


2.根据权利要求1所述的方法，其特征在于，所述图像语义分割模型为基于ResNet的网络模型；所述物料识别模型为基于MaskR-CNN的物体检测模型。


3.根据权利要求1所述的方法，其特征在于，在所述获取监测区域的图像的步骤之前，所述方法还包括：
获取训练样本，所述训练样本包括所述监测区域的多角度、多场景的图像样本，所述图像样本中包括预先确定的不允许放置物料的图像区域的像素级标注；
应用所述训练样本，对初始的图像语义分割模型进行训练，得到训练后的图像语义分割模型。


4.根据权利要求1所述的方法，其特征在于，所述应用预先训练的物料识别模型，对所述监测区域的图像中的物料进行识别，确定物料堆放的图像区域的步骤包括：
应用预先训练的物料识别模型，对所述监测区域的图像中的物料进行识别，得到物料的待确认图像区域；
应用预先训练的作业者识别模型，所述监测区域的图像中的作业者进行识别，并确定所述作业者的位置，所述作业者包括作业人员和/或作业工具；
如果所述待确认图像区域与作业者的距离大于第二阈值，确定待确认图像区域为所述物料堆放的图像区域。


5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
如果所述待确认图像区域与作业者的距离小于第二阈值，确定待确认图像区域中的物料为临时堆放。

【专利技术属性】
技术研发人员：赵小伟，刘扬，代晴华，
申请(专利权)人：三一重工股份有限公司，
类型：发明
国别省市：北京;11