图像识别方法和装置制造方法及图纸

本申请公开了一种图像识别方法和装置

【技术实现步骤摘要】
图像识别方法和装置、存储介质及电子设备


[0001]本申请涉及计算机领域，具体而言，涉及一种图像识别方法和装置
、
存储介质及电子设备
。

技术介绍

[0002]在很多工业场景下，为了生产组装一款工业产品，往往需要涉及大量的工业零件
。
而在对这些工业零件进行批量生产的过程中，由于其体积较小，不可避免地会出现很多存在缺陷的残次零件
(
也可称作
NG(No Good)
品
)
，因而在应用这些工业零件之前，通常需要先对其进行异常缺陷检测
。
[0003]目前针对工业零件常用的异常检测方法是：采集待检测零件的图像和正常零件
(
也可称作
OK
品
)
的图像，然后基于二者的图像进行特征比对，若二者特征相似度较高，则将待检测零件识别为
OK
品；若二者特征相似度较低，则将待检测零件识别为
NG
品
。
[0004]然而，当待检测零件上的缺陷较小或者较轻微时，其特征可能与
OK
品的特征之间的差别并不大，从而导致对
NG
品的漏检
。
也就是说，相关技术中提供的针对工业零件的图像识别方式存在识别结果准确性较低的问题
。
[0005]针对上述的问题，目前尚未提出有效的解决方案
。

技术实现思路

[0006]本申请实施例提供了一种图像识别方法和装置
、
存储介质及电子设备，以至少解决现有的工业零件的图像识别方式识别结果准确性较低的技术问题
。
[0007]根据本申请实施例的一个方面，提供了一种图像识别方法，包括：获取对目标零件对象进行图像采集所得到的目标图像；利用具有孪生网络结构的异常零件识别网络提取上述目标图像的图像特征，其中，上述图像特征包括上述孪生网络结构中的第一网络对上述目标图像提取到的第一图像特征，及上述孪生网络结构中的第二网络对上述目标图像提取到的第二图像特征，上述第一网络是用于获取样本图像对中显示有正常零件对象的正样本图像的图像特征的参考网络，上述第二网络是利用基于上述正样本图像所合成的显示有异常零件对象的负样本图像进行训练；获取上述第一图像特征与上述第二图像特征之间的特征相似度；基于上述特征相似度确定出对上述目标图像的识别结果，其中，上述识别结果用于指示上述目标图像中的上述目标零件对象是否为上述异常零件对象
。
[0008]根据本申请实施例的另一方面，还提供了一种图像识别装置，包括：第一获取单元，用于获取对目标零件对象进行图像采集所得到的目标图像；识别单元，用于利用具有孪生网络结构的异常零件识别网络提取上述目标图像的图像特征，其中，上述图像特征包括上述孪生网络结构中的第一网络对上述目标图像提取到的第一图像特征，及上述孪生网络结构中的第二网络对上述目标图像提取到的第二图像特征，上述第一网络是用于获取样本图像对中显示有正常零件对象的正样本图像的图像特征的参考网络，上述第二网络是利用基于上述正样本图像所合成的显示有异常零件对象的负样本图像进行训练；第二获取单
元，用于获取上述第一图像特征与上述第二图像特征之间的特征相似度；确定单元，用于基于上述特征相似度确定出对上述目标图像的识别结果，其中，上述识别结果用于指示上述目标图像中的上述目标零件对象是否为上述异常零件对象
。
[0009]根据本申请实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述图像识别方法
。
[0010]根据本申请实施例的又一个方面，提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中
。
计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行如以上图像识别方法
。
[0011]根据本申请实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过所述计算机程序执行上述的图像识别方法
。
[0012]在本申请实施例中，获取对目标零件对象进行图像采集所得到的目标图像
。
然后，利用具有孪生网络结构的异常零件识别网络提取目标图像的图像特征，其中，图像特征包括孪生网络结构中的第一网络对目标图像提取到的第一图像特征，及孪生网络结构中的第二网络对目标图像提取到的第二图像特征，第一网络是用于获取样本图像对中显示有正常零件对象的正样本图像的图像特征的参考网络，第二网络是利用基于正样本图像所合成的显示有异常零件对象的负样本图像进行训练
。
获取第一图像特征与第二图像特征之间的特征相似度
。
进而，基于特征相似度确定出对目标图像的识别结果，其中，识别结果用于指示目标图像中的目标零件对象是否为异常零件对象
。
换言之，采用本申请实施例，利用异常零件识别网络对目标图像进行识别
。
具体而言，利用异常零件识别网络中包括的第一网络对目标图像进行识别得到的第一图像特征，利用孪生网络结构中包括的第二网络对目标图像进行识别得到的第二图像特征
。
从而利用第一图像特征与第二图像特征之间的相似度来确定目标图像的识别结果
。
也就是说，由于在本申请实施例中，通过异常零件识别网络中的各个分支网络
(
即，第一网络
、
第二网络
)
分别提取出的待检测零件所对应的目标图像的特征之间相似度，来确定待检测的目标零件对象是否存在异常缺陷
。
而并不是单一的根据待检测零件所对应图像的图像特征与正常零件所对应图像的图像特征之间的相似度，来确定目标图像的识别结果
。
从而解决了现有技术中工业零件的图像识别方式的识别结果准确性较低的技术问题，达到了提升工业零件的图像识别方式的识别结果准确性的技术效果
。
附图说明
[0013]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定
。
在附图中：
[0014]图1是根据本申请实施例的一种可选的图像识别方法的应用环境的示意图；
[0015]图2是根据本申请实施例的一种可选的图像识别方法的流程图；
[0016]图3是根据本申请实施例的一种可选的图像识别方法的示意图；
[0017]图4是根据本申请实施例的一种可选的图像识别方法的示意图；
[0018]图5是根据本申请实施例的一种可选的图像识别方法的示意图；
[0019]图6是根据本申请实施例的一种可选的图像识别方法的示意图；
...

【技术保护点】

【技术特征摘要】
1.
一种图像识别方法，其特征在于，包括：获取对目标零件对象进行图像采集所得到的目标图像；利用具有孪生网络结构的异常零件识别网络提取所述目标图像的图像特征，其中，所述图像特征包括所述孪生网络结构中的第一网络对所述目标图像提取到的第一图像特征，及所述孪生网络结构中的第二网络对所述目标图像提取到的第二图像特征，所述第一网络是用于获取样本图像对中显示有正常零件对象的正样本图像的图像特征的参考网络，所述第二网络是利用基于所述正样本图像所合成的显示有异常零件对象的负样本图像进行训练；获取所述第一图像特征与所述第二图像特征之间的特征相似度；基于所述特征相似度确定出对所述目标图像的识别结果，其中，所述识别结果用于指示所述目标图像中的所述目标零件对象是否为所述异常零件对象
。2.
根据权利要求1所述的方法，其特征在于，所述基于所述特征相似度确定出对所述目标图像的识别结果包括：在所述特征相似度小于或等于第一阈值的情况下，确定所述目标零件对象为所述异常零件对象，并确定所述识别结果是所述目标图像属于用于指示异常零件的第一类图像；在所述特征相似度大于或等于第二阈值的情况下，确定所述目标零件对象为所述正常零件对象，并确定所述识别结果是所述目标图像属于用于指示正常零件的第二类图像；其中，所述第一阈值小于所述第二阈值
。3.
根据权利要求1所述的方法，其特征在于，在所述获取对目标零件对象进行图像采集所得到的目标图像之后，所述方法还包括：获取与所述目标零件对象对应的模板图像，其中，所述模板图像中显示有与所述目标零件对象属于同一类零件的参考零件对象，且所述参考零件对象为正常零件对象；按照所述模板图像中所述参考零件对象的显示位置，对所述目标图像中的所述目标零件对象的显示位置进行校正，得到校正后的图像，其中，所述校正后的图像中的所述目标零件对象与所述模板图像中的所述参考零件对象处于显示对齐状态
。4.
根据权利要求3所述的方法，其特征在于，所述按照所述模板图像中所述参考零件对象的显示位置，对所述目标图像中的所述目标零件对象的显示位置进行校正，得到校正后的图像包括：对所述模板图像中的所述参考零件对象进行边缘检测处理，得到第一对象轮廓图，并对所述目标图像中的所述目标零件对象进行边缘检测处理，得到第二对象轮廓图；将所述第一对象轮廓图转化为第一对象轮廓点集，并将所述第二对象轮廓图转化为第二对象轮廓点集；基于所述第一对象轮廓点集和所述第二对象轮廓点集之间的点位对应关系，确定校正变换矩阵；利用所述校正变换矩阵对所述目标图像中的所述第二对象轮廓点集进行位置校正，得到包含第三对象轮廓点集的所述校正后的图像，其中，所述第三对象轮廓点集中各个轮廓点在所述校正后的图像中的显示位置将与所述第一对象轮廓点集中各个轮廓点在所述模板图像中的显示位置分别对应
。5.
根据权利要求4所述的方法，其特征在于，所述基于所述第一对象轮廓点集和所述第
二对象轮廓点集之间的点位对应关系，确定校正变换矩阵包括：确定待估计的当前变换矩阵；利用当前变换矩阵对所述第二对象轮廓点集进行变换处理，获取到参考轮廓点集；基于所述第一对象轮廓点集中各个轮廓点与所述参考对象轮廓点集中各个轮廓点之间的所述点位对应关系，确定所述参考轮廓点集中各个轮廓点的显示位置各自与所述第一对象轮廓点集中各个轮廓点的显示位置之间的位置误差，得到多个点位误差；利用所述多个点位误差确定出所述参考轮廓点集与所述第一对象轮廓点集之间的变换误差；在所述变换误差并未满足误差收敛条件的情况下，对所述当前变换矩阵进行调整，得到调整后的变换矩阵，并利用所述调整后的变换矩阵对所述第二对象轮廓点集进行变换处理；在所述变换误差满足所述误差收敛条件的情况下，将所述当前变换矩阵确定为所述校正变换矩阵
。6.
根据权利要求1的方法，其特征在于，所述利用具有孪生网络结构的异常零件识别网络提取所述目标图像的图像特征包括：对所述目标图像进行区域划分，得到
N
个目标图像块，所述
N
为大于1的正整数；利用所述异常零件识别网络对所述
N
个目标图像块进行特征提取，得到所述图像特征
。7.
根据权利要求6的方法，其特征在于，所述对所述目标图像进行区域划分，得到
N
个目标图像块包括以下之一：将所述目标图像按照目标尺寸大小进行划分，得到
N
个具有相同尺寸大小的图像块；将
N
个所述图像块确定为所述
N
个目标图像块；从所述目标图像中截取
N
个关键图像块，其中，所述关键图像块为所述目标图像中所述目标零件对象的关键对象部位所在的图像块；将所述
N
个关键图像块确定为所述
N
个目标图像块
。8.
根据权利要求6方法，其特征在于，所述利用所述异常零件识别网络对所述
N
个目标图像块进行特征提取，得到所述图像特征包括：将所述
N
个目标图像块中的每个目标图像块依次确定为当前图像块，并执行以...

【专利技术属性】
技术研发人员：彭瑾龙，
申请(专利权)人：重庆腾讯信息技术有限公司，
类型：发明
国别省市：