产品零件缺陷检测方法、装置、介质及电子设备制造方法及图纸

本申请的实施例提供了一种产品零件缺陷检测方法、装置、计算机可读介质及电子设备，该方法包括：提取产品零件图像的特征图；根据特征图进行候选框生成操作，得到产品零件图像的若干候选框，候选框用于指示产品零件图像中的缺陷位置；在特征图中提取各候选框对应的候选框特征图，并根据各候选框特征图进行类别预测，得到各候选框对应的产品零件缺陷的缺陷类别预测结果；根据各候选框特征图对各候选框的框定位置进行调整，得到产品零件缺陷的缺陷位置信息；根据各候选框特征图进行严重程度预测，得到各候选框对应的产品零件缺陷的缺陷严重程度信息。本申请实施例能够提升对产品零件缺陷的检测能力，并可以提高检测效率、降低人力成本。力成本。力成本。

【技术实现步骤摘要】
产品零件缺陷检测方法、装置、介质及电子设备


[0001]本申请涉及计算机视觉
，具体而言，涉及一种产品零件缺陷检测方法、装置、计算机可读介质及电子设备。

技术介绍

[0002]目前，很多产品零件依然采用传统的人力质检方式对零件的外观缺陷进行检测，这种方式效率低，而且人力成本高。
[0003]目标检测是计算机视觉领域的一项重要任务。现在已经开始出现了利用目标检测算法来进行缺陷检测的方案。然而，这种方案只能对缺陷进行定位或分类，因此，检测能力比较单一，也无法保证对产品零件的整体检测效率。

技术实现思路

[0004]本申请的实施例提供了一种产品零件缺陷检测方法、装置、计算机可读介质及电子设备，进而至少在一定程度上能够提升对缺陷的检测能力，并可以提高检测效率、降低人力成本。
[0005]本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
[0006]根据本申请实施例的一个方面，提供了一种产品零件缺陷检测方法，所述方法包括：提取待识别的产品零件图像的特征图；根据所述特征图进行候选框生成操作，得到所述产品零件图像的若干候选框，所述候选框用于指示所述产品零件图像中的缺陷位置；在所述特征图中提取各候选框对应的候选框特征图，并根据各所述候选框特征图进行类别预测，得到各候选框对应的产品零件缺陷的缺陷类别预测结果；根据各所述候选框特征图对各候选框的框定位置进行调整，得到所述产品零件图像中产品零件缺陷的缺陷位置信息；根据各所述候选框特征图进行严重程度预测，得到各候选框对应的产品零件缺陷的缺陷严重程度信息。
[0007]根据本申请实施例的一个方面，提供了一种产品零件缺陷检测装置，所述装置包括：特征图提取单元，用于提取待识别的产品零件图像的特征图；生成单元，用于根据所述特征图进行候选框生成操作，得到所述产品零件图像的若干候选框，所述候选框用于指示所述产品零件图像中的缺陷位置；提取和预测单元，用于在所述特征图中提取各候选框对应的候选框特征图，并根据各所述候选框特征图进行类别预测，得到各候选框对应的产品零件缺陷的缺陷类别预测结果；位置调整单元，用于根据各所述候选框特征图对各候选框的框定位置进行调整，得到所述产品零件图像中产品零件缺陷的缺陷位置信息；严重程度预测单元，用于根据各所述候选框特征图进行严重程度预测，得到各候选框对应的产品零件缺陷的缺陷严重程度信息。
[0008]在本申请的一些实施例中，基于前述方案，所述待识别的产品零件图像为多个产品零件图像，所述多个产品零件图像是从多个不同拍摄角度对目标产品零件拍摄得到的，
所述装置还包括合格品确定单元，在得到各候选框对应的产品零件缺陷的缺陷严重程度信息之后，所述合格品确定单元用于根据各产品零件图像对应的缺陷类别预测结果、缺陷位置信息、缺陷严重程度信息及拍摄角度确定所述目标产品零件是否为合格品。
[0009]在本申请的一些实施例中，基于前述方案，所述合格品确定单元配置为：针对每一产品零件图像，根据所述产品零件图像对应的缺陷类别预测结果、缺陷位置信息、缺陷严重程度信息及拍摄角度确定所述产品零件图像的合格品预测结果；根据各产品零件图像的合格品预测结果确定所述目标产品零件是否为合格品。
[0010]在本申请的一些实施例中，基于前述方案，所述合格品确定单元配置为：如果所述产品零件图像的产品零件缺陷的缺陷类别预测结果为指定缺陷类别，且所述指定缺陷类别与所述拍摄角度不匹配，则确定所述产品零件缺陷的合格预测结果为合格；如果所述产品零件图像的产品零件缺陷的缺陷类别预测结果对应的最大概率低于为相应缺陷类别设定的概率阈值，则确定所述产品零件缺陷的合格预测结果为合格；如果所述产品零件图像的产品零件缺陷的缺陷严重程度信息低于与角度预测结果对相对应的缺陷严重程度阈值，则确定所述产品零件缺陷的合格预测结果为合格，所述角度预测结果对包括所述拍摄角度和所述产品零件缺陷的缺陷类别预测结果；根据所述产品零件图像的各产品零件缺陷的合格预测结果确定所述产品零件图像的合格品预测结果。
[0011]在本申请的一些实施例中，基于前述方案，在根据所述产品零件图像的各产品零件缺陷的合格预测结果确定所述产品零件图像的合格品预测结果之前，所述合格品确定单元还配置为：根据所述产品零件图像对应的各产品零件缺陷的缺陷类别预测结果，确定各缺陷类别预测结果所属的缺陷类型；根据各缺陷类别预测结果所属的缺陷类型，确定各所述产品零件缺陷的合格预测结果。
[0012]在本申请的一些实施例中，基于前述方案，所述合格品确定单元配置为：若各缺陷类别预测结果中第一产品零件缺陷的缺陷类别预测结果属于面积型缺陷，则根据所述第一产品零件缺陷的缺陷位置信息确定所述第一产品零件缺陷的面积；若所述面积小于与所述拍摄角度和所述第一产品零件缺陷的缺陷类别预测结果对应的面积阈值，则确定所述第一产品零件缺陷的合格预测结果为合格；若各缺陷类别预测结果中第二产品零件缺陷的缺陷类别预测结果属于直线型缺陷，则根据所述第二产品零件缺陷的缺陷位置信息确定所述第二产品零件缺陷的长度；若所述长度小于与所述拍摄角度和所述第二产品零件缺陷的缺陷类别预测结果对应的长度阈值，则确定所述第二产品零件缺陷的合格预测结果为合格。
[0013]在本申请的一些实施例中，基于前述方案，所述合格品确定单元配置为：如果属于点状缺陷的缺陷类别预测结果的数量大于预定数量阈值，则确定与属于点状缺陷的各缺陷类别预测结果对应的产品零件缺陷的合格预测结果为不合格。
[0014]在本申请的一些实施例中，基于前述方案，所述缺陷严重程度信息为严重等级，所述装置执行的步骤是由产品零件缺陷检测模型执行的，所述装置还包括样本集获取模块和训练模块，在提取待识别的产品零件图像的特征图之前，所述样本集获取模块配置为：获取产品零件缺陷样本集，所述产品零件缺陷样本集包括多个产品零件样本图像和每个产品零件样本图像对应的标注信息，所述标注信息包括产品零件样本图像中各产品零件缺陷的标注框、缺陷类别和严重等级；所述训练模块配置为：基于所述产品零件缺陷样本集训练得到产品零件缺陷检测模型。
[0015]在本申请的一些实施例中，基于前述方案，所述严重等级是根据预设严重等级判定规则标注得到的，所述预设严重等级判定规则用于表征产品零件缺陷的外观特征与严重等级之间的对应关系，所述外观特征包括立体形状特征和颜色特征。
[0016]根据本申请实施例的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中所述的产品零件缺陷检测方法。
[0017]根据本申请实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的产品零件缺陷检测方法。
[0018]根据本申请实施例的一个方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机指令，所述计算机指令存储在计算机可读存储介本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种产品零件缺陷检测方法，其特征在于，所述方法包括：提取待识别的产品零件图像的特征图；根据所述特征图进行候选框生成操作，得到所述产品零件图像的若干候选框，所述候选框用于指示所述产品零件图像中的缺陷位置；在所述特征图中提取各候选框对应的候选框特征图，并根据各所述候选框特征图进行类别预测，得到各候选框对应的产品零件缺陷的缺陷类别预测结果；根据各所述候选框特征图对各候选框的框定位置进行调整，得到所述产品零件图像中产品零件缺陷的缺陷位置信息；根据各所述候选框特征图进行严重程度预测，得到各候选框对应的产品零件缺陷的缺陷严重程度信息。2.根据权利要求1所述的产品零件缺陷检测方法，其特征在于，所述待识别的产品零件图像为多个产品零件图像，所述多个产品零件图像是从多个不同拍摄角度对目标产品零件拍摄得到的，在得到各候选框对应的产品零件缺陷的缺陷严重程度信息之后，所述方法还包括：根据各产品零件图像对应的缺陷类别预测结果、缺陷位置信息、缺陷严重程度信息及拍摄角度确定所述目标产品零件是否为合格品。3.根据权利要求2所述的产品零件缺陷检测方法，其特征在于，所述根据各产品零件图像对应的缺陷类别预测结果、缺陷位置信息、缺陷严重程度信息及拍摄角度确定所述目标产品零件是否为合格品，包括：针对每一产品零件图像，根据所述产品零件图像对应的缺陷类别预测结果、缺陷位置信息、缺陷严重程度信息及拍摄角度确定所述产品零件图像的合格品预测结果；根据各产品零件图像的合格品预测结果确定所述目标产品零件是否为合格品。4.根据权利要求3所述的产品零件缺陷检测方法，其特征在于，所述根据所述产品零件图像对应的缺陷类别预测结果、缺陷位置信息、缺陷严重程度信息及拍摄角度确定所述产品零件图像的合格品预测结果，包括：如果所述产品零件图像的产品零件缺陷的缺陷类别预测结果为指定缺陷类别，且所述指定缺陷类别与所述拍摄角度不匹配，则确定所述产品零件缺陷的合格预测结果为合格；如果所述产品零件图像的产品零件缺陷的缺陷类别预测结果对应的最大概率低于为相应缺陷类别设定的概率阈值，则确定所述产品零件缺陷的合格预测结果为合格；如果所述产品零件图像的产品零件缺陷的缺陷严重程度信息低于与角度预测结果对相对应的缺陷严重程度阈值，则确定所述产品零件缺陷的合格预测结果为合格，所述角度预测结果对包括所述拍摄角度和所述产品零件缺陷的缺陷类别预测结果；根据所述产品零件图像的各产品零件缺陷的合格预测结果确定所述产品零件图像的合格品预测结果。5.根据权利要求4所述的产品零件缺陷检测方法，其特征在于，在根据所述产品零件图像的各产品零件缺陷的合格预测结果确定所述产品零件图像的合格品预测结果之前，所述根据所述产品零件图像对应的缺陷类别预测结果、缺陷位置信息、缺陷严重程度信息及拍摄角度确定所述产品零件图像的合格品预测结果，还包括：根据所述产品零件图像对应的各产品零件缺陷的缺陷类别预测结果，确定各缺陷类别
预测结果所属的缺陷类型；根据各缺陷类别预测结果所属的缺陷类型，确定各所述产品零件缺陷的合格预测结果。6.根据权利要求5所述的产品零件缺陷检测方法，其特征在于，所述根据各缺陷类别预测结果所属的缺陷类型，确定各所述产品零件缺陷的合格预测结果，包括：若各缺陷类别预测结果中第一产品零件缺陷的缺陷类别预测结果属于面积型缺陷...

【专利技术属性】
技术研发人员：李嘉麟，付威福，陈颖，林愉欢，刘永，汪铖杰，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：