目标检测方法、装置和电子设备制造方法及图纸

本申请公开了一种目标检测方法、装置和电子设备。其中方法包括：将检测图像输入到目标检测模型的第一子网络中，得到所述第一子网络输出的第一检测结果；若所述第一检测结果中存在非显著目标，则将非显著目标在所述检测图像中的对应部分输入到目标检测模型的第二子网络中，得到所述第二子网络输出的第二检测结果；根据所述第一检测结果和所述第二检测结果确定最终检测结果。例如在工业上利用目标检测模型来识别产品缺陷，缺陷可能有大有小，小的缺陷很难通过单一网络得到准确的检测结果，本申请的方案可以实现较高的检测准确度，并且不需要第二子网络对所有目标都进行二次检测，效率也很高。

【技术实现步骤摘要】
目标检测方法、装置和电子设备
本申请涉及机器视觉
，尤其涉及目标检测方法、装置和电子设备。
技术介绍
近年来，国际上对机器视觉的研究日渐重视，以图像处理技术为基础的机器视觉技术主要利用计算机来模拟人或再现与人类视觉有关的某些智能行为，从客观事物的图像中提取信息进行处理，并加以理解，最终用于实际检测和控制，例如应用于如工业检测、工业探伤、精密测控、自动生产线等方面。用机器视觉检测方法不仅可以大大提高生产效率和生产的自动化程度，而且机器视觉易于实现信息集成，满足数字化、自动化生产的要求。但是，在工业化的生产线如胶印版材、纸张、铝板带，以及TFT(ThinFilmTransistor，薄膜晶体管)、LCD(LiquidCrystalDisplay，液晶显示屏)应用广泛的电视、电脑、手机等领域，有时候生产的产品会存在一些低对比度的缺陷，不太容易被检测出来。
技术实现思路
本申请实施例提供了目标检测方法、装置和电子设备，以能够提高屏幕缺陷等较难检测目标的检测水平。本申请实施例采用下述技术方案：第一方面，本申请实施例提供一种目标检测方法，包括：将检测图像输入到目标检测模型的第一子网络中，得到第一子网络输出的第一检测结果；若第一检测结果中存在非显著目标，则将非显著目标在检测图像中的对应部分输入到目标检测模型的第二子网络中，得到第二子网络输出的第二检测结果；根据第一检测结果和第二检测结果确定最终检测结果。在一些实施例中，第一子网络为目标检测网络，第一检测结果包括目标的位置和第一分类；第二子网络为目标分类网络，第二检测结果包括目标的第二分类；根据第一检测结果和第二检测结果确定最终检测结果包括：以非显著目标的第二分类替换第一分类，作为非显著目标的最终分类。在一些实施例中，该方法还包括：根据第一检测结果中各目标的位置，计算各目标的面积；若一个目标的面积小于第一阈值，则该目标为非显著目标。在一些实施例中，若一个目标的第一分类的置信度得分小于第二阈值，则该目标为非显著目标。在一些实施例中，该方法还包括：在目标检测模型的训练阶段，确定第一检测结果中的各目标的面积，将各目标按面积大小进行排序，将面积序列中第一序列位置处的面积作为第一阈值；或者，将第一检测结果中的各目标按分类置信度得分高低进行排序，将置信度得分序列中第二序列位置处的置信度得分作为第二阈值。在一些实施例中，目标检测网络基于Mask_RCNN算法实现，目标分类网络基于EfficientNet算法实现。在一些实施例中，该方法还包括：统计第一检测结果中的目标数量，将目标数量赋值给控制变量；若控制变量的值不为0，则选择第一检测结果中一个未被选择过的目标，对本次选择的目标进行是否为非显著目标的判断；若本次选择的目标为非显著目标，则执行将非显著目标在检测图像中的对应部分输入到目标检测模型的第二子网络中，得到第二子网络输出的第二检测结果的步骤，并将控制变量的值减1；若控制变量的值为0，则执行根据第一检测结果和第二检测结果确定最终检测结果的步骤。在一些实施例中，目标检测模型是通过如下方式训练的：将第一训练图像输入到第一子网络中，得到第一子网络输出的第一检测结果；确定第一检测结果中的非显著目标，提取各非显著目标在第一训练图像中的对应部分作为第二训练图像；将第二训练图像输入到第二子网络中，得到第二子网络输出的第二检测结果；根据第一检测结果、第二检测结果和第一训练图像的标注信息确定训练损失值，根据训练损失值对第一子网络和第二子网络的参数进行更新。第二方面，本申请实施例还提供一种目标检测装置，用于实现如上任一所述目标检测方法。第三方面，本申请实施例还提供一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，可执行指令在被执行时使处理器执行如上任一所述的目标检测方法。第四方面，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质存储一个或多个程序，一个或多个程序当被包括多个应用程序的电子设备执行时，使得电子设备执行如上任一所述的目标检测方法。本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：利用目标检测模型的第一子网络检测出检测图像中的目标，但这些目标中可能存在着非显著目标，也就是说第一子网络输出的第一检测结果可能不完全准确，此种情况下将非显著目标对应的图像部分输入到第二子网络中，得到第二检测结果，这样将第一检测结果和第二检测结果综合起来，就能够得到更准确的最终检测结果。例如在工业上利用目标检测模型来识别产品缺陷，缺陷可能有大有小，小的缺陷很难通过单一网络得到准确的检测结果，本申请的方案可以实现较高的检测准确度，并且不需要第二子网络对所有目标都进行二次检测，效率也很高。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1示出了根据本申请一个实施例的一种目标检测方法的流程示意图；图2示出了根据本申请一个实施例的振膜产品中缺陷检测流程示意图；图3示出了根据本申请一个实施例的一种目标检测装置的结构示意图；图4为本申请实施例中一种电子设备的结构示意图。具体实施方式为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。本申请的技术构思在于，利用两个子网络构建目标检测模型，第一子网络尽可能检测出所有目标，而第二子网络则对其中非显著目标进行二次检测，兼顾检测准确度和效率。以下结合附图，详细说明本申请各实施例提供的技术方案。图1示出了根据本申请一个实施例的一种目标检测方法的流程示意图，如图1所示，该方法包括：步骤S110，将检测图像输入到目标检测模型的第一子网络中，得到第一子网络输出的第一检测结果。步骤S120，若第一检测结果中存在非显著目标，则将非显著目标在检测图像中的对应部分输入到目标检测模型的第二子网络中，得到第二子网络输出的第二检测结果。本申请中，要检测的目标可以根据实际需求确定，并且对于屏幕缺陷这种工业上有着迫切需求的目标有着较好的检测效果。以屏幕缺陷为例，存在着坏点、污渍等多种缺陷类型，有些缺陷的面积较大，有些缺陷的面积较小，较小的缺陷一般难以检测。在本申请的技术方案中，可以将难以检测的目标作为非显著目标，这些目标通常也可以被检测出来，但是误检(比如类型判断错误)的概率较高。因此本申请利用第二子网络再次对非显著目标进行检测以提高检测准确度。步骤S130，根据第一检测结果和第二检测结果确定最终检测结果。可见，图1所示的方法，利用目标检测模型的第一子网络检测出检测图像中的目标，但这些目标本文档来自技高网...

【技术保护点】
1.一种目标检测方法，包括：/n将检测图像输入到目标检测模型的第一子网络中，得到所述第一子网络输出的第一检测结果；/n若所述第一检测结果中存在非显著目标，则将非显著目标在所述检测图像中的对应部分输入到目标检测模型的第二子网络中，得到所述第二子网络输出的第二检测结果；/n根据所述第一检测结果和所述第二检测结果确定最终检测结果。/n

【技术特征摘要】
1.一种目标检测方法，包括：
将检测图像输入到目标检测模型的第一子网络中，得到所述第一子网络输出的第一检测结果；
若所述第一检测结果中存在非显著目标，则将非显著目标在所述检测图像中的对应部分输入到目标检测模型的第二子网络中，得到所述第二子网络输出的第二检测结果；
根据所述第一检测结果和所述第二检测结果确定最终检测结果。


2.如权利要求1所述的方法，其特征在于，所述第一子网络为目标检测网络，所述第一检测结果包括目标的位置和第一分类；
所述第二子网络为目标分类网络，所述第二检测结果包括目标的第二分类；
所述根据所述第一检测结果和所述第二检测结果确定最终检测结果包括：以非显著目标的第二分类替换所述第一分类，作为非显著目标的最终分类。


3.如权利要求2所述的方法，其特征在于，该方法还包括：
根据第一检测结果中各目标的位置，计算各目标的面积；
若一个目标的面积小于第一阈值，则该目标为非显著目标。


4.如权利要求2所述的方法，其特征在于，若一个目标的第一分类的置信度得分小于第二阈值，则该目标为非显著目标。


5.如权利要求3或4所述的方法，其特征在于，该方法还包括：
在所述目标检测模型的训练阶段，
确定第一检测结果中的各目标的面积，将各目标按面积大小进行排序，将面积序列中第一序列位置处的面积作为所述第一阈值；
或者，
将第一检测结果中的各目标按分类置信度得分高低进行排序，将置信度得分序列中第二序列位置处的置信度得分作为所述第二阈值。


6.如权利要求2所述的方法，其特征在于，所述目标检测...

【专利技术属性】
技术研发人员：张辉，高巍，
申请(专利权)人：歌尔股份有限公司，
类型：发明
国别省市：山东;37