一种基于图像识别技术的工业质检方法及系统技术方案

本发明专利技术公开了一种基于图像识别技术的工业质检方法及系统，属于工业质检技术领域，其中基于图像识别技术的工业质检系统包括图片标注，图片获取模块、图片预处理模块、模型建立模块、模型训练模块、预测识别模块，预测识别模块可视化。图片获取模块通过webservice接口前台定期大量传入图片，首先通过图片预处理模块进行剪裁翻转等数据增强操作，然后处理成模型所需格式，将建好好的模型喂入图像数据训练，最后加载模型进行图像识别质检。

【技术实现步骤摘要】
一种基于图像识别技术的工业质检方法及系统
本专利技术涉及家电行业图像识别工业质检
，尤其涉及的是一种基于图像识别技术的工业质检方法及系统。
技术介绍
随着技术的发展，家电行业一直都是市场需求非常巨大的行业，因为拥有家电的人数据量大，需要师傅上门安装的需求也随之巨大。但是现在人们的懒惰心理越发强烈，师傅上门安装的仔细程序也随之下降。这给家电的品牌形象带来很大的挑战。传统的师傅上门安装的质检部门工作，需要花费大量的人力成本去每天排查图片，包括排查图片中师傅安装家电位置的正确与否，关键零件有没有安装等系列工作，排查难度高，而且人力时间成本太大。因此设计出了家电行业相似图片匹配算法方案，辅助质检部门初步将图片进行分类预测，将有问题的图片筛选分类出来供质检工作人员进行进一步筛查。但仅针对简单的图像特征匹配无法进行深层次的图像识别，达不到智能化需求，准确率也不是太高，无法最大化的节约成本。因此，针对以上问题，本专利技术提出了一种基于图像识别技术的家电质检系统。
技术实现思路
本专利技术提供了一种基于智能图像识别技术的家电质检方法及系统，解决了传统图片匹配准确率低的，进一步解决了质检部门工作量大，人力成本大的问题。本专利技术的技术方案如下：一种基于图像识别技术的工业质检方法包括以下步骤：步骤1：获取从app端平时师傅安装家电的图片，一次性下载，采用LabelImg进行图片标注，将安装的图片部位根据质检部门判断，进行打标签Y或者N，得到数据增强之后的N跟Y的样本图片各一万张；步骤2：对EfficientDet算法中深度卷积神经网络模型进行训练，得到最终的图像目标检测质检系统；步骤3：对需要分析的图片进行预处理，将预处理后的图片输入图像识别工业质检模型中，通过多个金字塔网络卷积层，从而得到图片中的家电安装位置以及零部件特征信息，并输入图像识别预测模型中，经过图像识别预测模型预测进行识别，所述经过图像识别预测模型预测进行识别，是指识别输入的图片或照片符不符合审核标准，是否是安装正确。上述中，所述步骤1中，获取从app端平时师傅安装家电的图片，包括单张加载跟批量加载；所述单张加载是支持WebService接口在线实时性加载；所述批量加载是说提供批量加载的接口，批量加载图片之后，会传到对应的云服务器。上述中，所述步骤2具体包括以下步骤：步骤2.1：定义EfficientNet网络特征抽取的系数，分别是0，1，2，3，4，5，6，6，7，每个系数代表需要训练的每一层网络的次数；步骤2.2：定义卷积神经网络卷积核的大小枚举，包括64，88，112，160，224，288，384，384，384九种类别，分别对图片进行不同卷积核的特征抽取；步骤2.3：定义需要金字塔的网络层数，分为3，4，5，6，7，7，8，8，8九个，其中第7层需要两次叠加卷积，第8层需要三次叠加卷积；步骤2.4：回归跟分类，回归是指定义检测图片中安装部分的检测框位置，分类是指当确定了检测框位置之后，将图片中预测出来的图像特征信息进行分类，然后分别定义一个回归子网络模型和一个分类子网络模型、以及定义一个特征图转换的子模型；所述回归子网络模型，用于定位所有图像检测框的位置；所述分类子网络模型，是回归子网络图像位置预测完毕，非极大值抑制之后进行图像分类；所述特征图转换的子模型，用于进行原图到特征抽取图的维度空间转换；步骤2.5：用16000张图片进行训练形成训练集，用4000图片进行测试验证形成测试集，将训练集和测试集按照2∶8的比例分配，进行测试验证训练过程中的模型准确率，F1值等；所述F1值是2*(精准率*召回率)/(精准率+召回率)，所述精准率是预测为正的样本有多少是对的，所述召回率是有多少正样本被预测正确；将待训练图片样本集合的图片样本依次输入EfficientDet深度卷积神经网络模型，利用测试集图片样本测试训练后的深度卷积神经网络模型进行准确率和F1值的测试和优化，利用Focalloss损失函数对深度卷积神经网络金字塔模型实现损失控制，以此得到最终的图像识别预测模型，既得到基于图像的工业质检模型；所述的Focalloss损失函数为公式2及公式3：CE(pt)＝-log(pt)(2)FL(pt)＝-(1-pt)γlog(pt)(3)上述公式2及公式3中其中CE(pt)表示标准的交叉熵，FL(pt)表示focalloss中用到的改进的交叉熵；参数pt代表分类样本的概率，在0-1之间，系数γ代表难分样本跟易分样本，在分类中需要计算损失权重系数的松弛因子；假如pt是难分样本，则pt较小，1-pt就会大，相对于这类难分样计算的损失权重就大。上述中，所述步骤2.4中，所述回归跟分类的具体步骤为：在训练时候，每个所检测目标区域需要18000个大小以及放缩比例不一样的检测框，去检测需要检测的目标的位置，所述18000个检测框根据位置跟放缩比例一共18种，每种1000个检测框，而特征图特征矩阵大小为[10，10]，等于100个像素值，所以需要每个像素需要按照缩放比例生成10种的检测框，检测框的选择算法是通过计算检测框跟实际标签目标的IOU值，IOU计算目标标签的位置跟候选框预测的位置的交并比，是目标检测中最常用的指标，作用一方面是确定检测框正负样本，另一方面是评价检测框和groundtruth的距离，反应预测候选框与真实检测框的检测效果，用来实现预测目标候选框的筛选；本专利技术在IOU基础上进行了改进，提出了CIoU，其惩罚项为公式1：RCIoU＝ρ2(b,bgt)/c2+αv(1)公式1中：α是权重函数，v用来度量长宽比的相似性，c为检测框B与目标图像groundtruthG最小外接矩的对角线的长度，其中b和bgt分别表示检测框B跟目标框Bgt的中心点，gt表示含义是目标，ρ(.)代表欧氏距离；v定义为:v＝4/π2(arctan(wgt/hgt)-arctan(w/h))2，其中w和h分别是检测框或目标图像的宽跟高，完整的CloU损失函数定义：LCloU＝1-IoU+ρ2(b,bgt)/c2+αv，且要考虑v的梯度，在长宽为[0,1]的范围情况下，(w*w)+(h*h)的值通常很小，会导致梯度爆炸，因此在实现1/(w*w+h*h)会替换为1。上述中，所述步骤3中，所述质检模型中的网络特征抽取图为：输入256×256的RGB图像；采用双向金字塔网络，每层金字塔网络之间信息传递为：P1到p7分别表示对图像进行不同卷积核大小的卷积操作，每层代表卷积的特征粒度不同，卷积完的特征进行相应的下采样，将金字塔网络抽取的信息最后拉平为全连接层[1,1024]维度，再经过softmax分类函数进行目标框1的位置预测以及分类；所述卷积操作的卷积层的公式4：convoutput＝f(WT+b)/x(4)公式4中，f(*)代表激活函数，x代表输入数据，W和b代表系数和偏执值，T代表系数W的转置矩阵；所述激活函数采用ReLu激活函本文档来自技高网...

【技术保护点】
1.一种基于图像识别技术的工业质检方法，其特征在于，包括以下步骤：/n步骤1：获取从app端平时师傅安装家电的图片，一次性下载，采用LabelImg进行图片标注，将安装的图片部位根据质检部门判断，进行打上标签Y或者N，将得到数据增强之后的N跟Y的各一万张图片；/n步骤2：对EfficientDet算法中深度卷积神经网络模型进行训练，得到图像目标检测质检系统；/n步骤3：对图片进行预处理，将预处理后的图片输入图像识别工业质检模型中，通过多个金字塔网络卷积层，从而得到图片中的家电安装位置以及零部件信息，并输入图像识别预测模型中，经过图像识别预测模型预测进行识别，所述经过图像识别预测模型预测进行识别，是指识别输入的图片或照片符不符合审核标准，是否是安装正确。/n

【技术特征摘要】
1.一种基于图像识别技术的工业质检方法，其特征在于，包括以下步骤：
步骤1：获取从app端平时师傅安装家电的图片，一次性下载，采用LabelImg进行图片标注，将安装的图片部位根据质检部门判断，进行打上标签Y或者N，将得到数据增强之后的N跟Y的各一万张图片；
步骤2：对EfficientDet算法中深度卷积神经网络模型进行训练，得到图像目标检测质检系统；
步骤3：对图片进行预处理，将预处理后的图片输入图像识别工业质检模型中，通过多个金字塔网络卷积层，从而得到图片中的家电安装位置以及零部件信息，并输入图像识别预测模型中，经过图像识别预测模型预测进行识别，所述经过图像识别预测模型预测进行识别，是指识别输入的图片或照片符不符合审核标准，是否是安装正确。


2.如权利求1所述的工业质检方法，其特征在于，所述步骤1中，获取从app端平时师傅安装家电的图片，包括单张加载跟批量加载；所述单张加载是支持WebService接口在线实时性加载；所述批量加载是说提供批量加载的接口，批量加载图片之后，会传到对应的云服务器。


3.如权利求1所述的工业质检方法，其特征在于，所述步骤2具体包括以下步骤：
步骤2.1：定义EfficientNet网络特征抽取的系数，分别是0,1,2,3,4,5,6,6,7，每个系数代表需要训练的每一层网络的次数；
步骤2.2：定义卷积神经网络卷积核的大小枚举，包括64,88,112,160,224,288,384,384,384九种类别，分别对图片进行不同卷积核的特征抽取；
步骤2.3：定义需要金字塔的网络层数，分为3,4,5,6,7,7,8,8,8九个，其中第7层需要两次叠加，第8层需要三次叠加；
步骤2.4：回归跟分类，回归是指定义检测图片中安装部分的检测框位置，分类是指当确定了检测框位置之后，将图片中预测出来的信息进行分类，然后分别定义一个回归子网络模型和一个分类子网络模型、以及定义一个特征图转换的子模型；所述回归子网络模型，用于定位所有图像检测框的位置；所述分类子网络模型，是回归子网络图像位置预测完毕，非极大值抑制之后进行图像分类；所述特征图转换的子模型，用于进行原图到特征抽取图的维度空间转换；
步骤2.5：用16000张图片进行训练形成训练集，用4000图片进行测试验证形成测试集，将训练集和测试集按照2：8的比例分配，进行测试验证训练过程中的模型准确率，F1值；所述F1值是2*(精准率*召回率)/(精准率+召回率)，所述精准率是预测为正的样本有多少是对的，所述召回率是有多少正样本被预测正确；将待训练图片样本集合的图片样本依次输入EfficientDet深度卷积神经网络模型，利用Focalloss损失函数对深度卷积神经网络模型进行训练，得到基于图像的工业质检模型，并利用测试集图片样本测试训练后的深度卷积神经网络模型，从而得到最终的图像识别预测模型；所述的Focalloss损失函数为公式2及公式3：
CE(pt)＝-log(pt)(2)
FL(pt)＝-(1-pt)γlog(pt)(3)
上述公式2及公式3中其中CE(pt)表示标准的交叉熵，FL(pt)表示focalloss中用到的改进的交叉熵；参数pt代表分类样本的概率，在0-1之间，系数γ代表难分样本跟易分样本计算损失权重系数的松弛因子；假如pt是难分样本概率，若pt较小，1-pt就会大，相对于这类难分样计算的损失权重就大。


4.如权利要求3所述的工业质检方法，其特征在于，所述步骤2.4中，所述回归跟分类的具体步骤为：在训练时候，每个所检测目标区域需要18000个大小以及放缩比例不一样的检测框，去检测需要检测的目标的位置，所述18000个检测框根据位置跟放缩比例一共18种，每种1000个检测框，而特征图特征矩阵大小为[10，10]，等于100个像素值，所以需要每个像素需要按照缩放比例生成10种的检测框，检测框的选择算法是通过计算检测框跟实际标签目标的IOU值，IOU计算目标标签的位置跟候选框预测的位置的交并比，实现预测目标候选框的筛选；IOU计算公式为公式1：
RCIoU＝ρ2(b,bgt)/c2+αv(1)
公式1中：α是权重函数，v用来度量长宽比的相似性，c为检测框B与目标图像groundtruthG...

【专利技术属性】
技术研发人员：李边芳，张峰，耿晓娜，王智，陈福生，邓栋，程鹏鹏，常洋，高晓磊，王庆丽，
申请(专利权)人：青岛日日顺乐信云科技有限公司，
类型：发明
国别省市：山东;37