一种图像处理方法、装置、计算机设备及存储介质制造方法及图纸

本申请实施例公开了一种图像处理方法、装置、计算机设备及存储介质，可应用于人工智能场景，包括：在获取到待检测图像时，对待检测图像的关键部位进行图像检测，得到候选框集合；基于待检测图像，对候选框集合进行去重偏移调整处理，得到调整框集合以及裁剪图像集合；裁剪图像集合包括N个裁剪图像；分别对N个裁剪图像中的每个裁剪图像进行识别分割处理，得到与关键部位相关联的分割结果；分割结果包括M个分割图像；在调整框集合中，对M个分割图像对应的调整框分别进行修正处理，得到M个用于指示待检测图像中的关键部位的修正框。采用本申请实施例，可以提高图像检测的准确度。可以提高图像检测的准确度。可以提高图像检测的准确度。

【技术实现步骤摘要】
一种图像处理方法、装置、计算机设备及存储介质


[0001]本申请涉及计算机
，尤其涉及一种图像处理方法、装置、计算机设备及存储介质。

技术介绍

[0002]图像检测是计算机视觉研究的重点问题之一，是理解图像高层语义信息的重要基础。对于图像中的某一关键部位(例如，对象脸部)而言，其检测难度往往来源于关键部位本身的多样性、视角变化、光照条件、遮挡以及复杂背景的影响，这意味这在复杂环境中针对关键部位进行图像检测是一个具有挑战性的任务。传统检测方法在对某一图像的关键部位进行图像检测时，能够以边界框(Bounding Box)的形式标识关键部位在图像中的具体位置。但是，传统检测方法仅考虑图像检测这一个任务，且对边界框的定位准确性指标重视不足，进而导致边界框的定位不够准确，即检测到的边界框要么除了包含关键部位之外，还可能存在一些冗余信息，要么未能检测到关键部位的全部信息，以至于严重影响了图像检测的准确度。

技术实现思路

[0003]本申请实施例提供一种图像处理方法、装置、计算机设备及存储介质，可以提高图像检测的准确度。
[0004]本申请实施例一方面提供一种图像处理方法，包括：
[0005]在获取到待检测图像时，对待检测图像的关键部位进行图像检测，得到候选框集合；
[0006]基于待检测图像，对候选框集合进行去重偏移调整处理，得到候选框集合对应的调整框集合以及调整框集合对应的裁剪图像集合；裁剪图像集合包括N个裁剪图像；一个裁剪图像是基于调整框集合中的一个调整框对待检测图像进行裁剪处理后所得到的；N为正整数；
[0007]分别对N个裁剪图像中的每个裁剪图像进行识别分割处理，得到与关键部位相关联的分割结果；分割结果包括M个分割图像；M为小于或者等于N的正整数；
[0008]在调整框集合中，对M个分割图像对应的调整框分别进行修正处理，得到M个用于指示待检测图像中的关键部位的修正框。
[0009]本申请实施例一方面提供一种图像处理装置，包括：
[0010]图像检测模块，用于在获取到待检测图像时，对待检测图像的关键部位进行图像检测，得到候选框集合；
[0011]去重调整模块，用于基于待检测图像，对候选框集合进行去重偏移调整处理，得到候选框集合对应的调整框集合以及调整框集合对应的裁剪图像集合；裁剪图像集合包括N个裁剪图像；一个裁剪图像是基于调整框集合中的一个调整框对待检测图像进行裁剪处理后所得到的；N为正整数；
[0012]识别分割模块，用于分别对N个裁剪图像中的每个裁剪图像进行识别分割处理，得到与关键部位相关联的分割结果；分割结果包括M个分割图像；M为小于或者等于N的正整数；
[0013]修正模块，用于在调整框集合中，对M个分割图像对应的调整框分别进行修正处理，得到M个用于指示待检测图像中的关键部位的修正框。
[0014]本申请一方面提供了一种计算机设备，包括：处理器、存储器、网络接口；
[0015]处理器与存储器、网络接口相连，其中，网络接口用于提供数据通信功能，存储器用于存储计算机程序，处理器用于调用计算机程序，以使得计算机设备执行本申请实施例提供的方法。
[0016]本申请实施例一方面提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，该计算机程序适于由处理器加载并执行，以使得具有该处理器的计算机设备执行本申请实施例提供的方法。
[0017]本申请实施例一方面提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中；计算机设备的处理器从计算机可读存储介质读取该计算机程序，处理器执行该计算机程序，使得该计算机设备执行本申请实施例中的方法。
[0018]在本申请实施例中，具有图像检测功能的计算机设备在获取到待检测图像时，可以对待检测图像的关键部位进行图像检测，得到候选框集合。其中，这里的候选框集合是由该计算机设备初始检测到的关键部位所在边界框构成的。为了能够有效确保关键部位所在边界框的准确度，该计算机设备在得到候选框集合之后，可以对候选框集合进行二次调整处理(包括去重偏移调整处理和修正处理)。首先，该计算机设备可以基于待检测图像，对候选框集合进行去重偏移调整处理，得到候选框集合对应的调整框集合以及调整框集合对应的裁剪图像集合。其中，这里的裁剪图像集合包括N个裁剪图像；一个裁剪图像是基于调整框集合中的一个调整框对待检测图像进行裁剪处理后所得到的；N为正整数。然后，该计算机设备可以综合考虑图像检测和图像分割这两种任务之间的内在联系，对已经去重偏移调整处理后的候选框集合(即调整框集合)再次进行修正处理，即分别对N个裁剪图像中的每个裁剪图像进行识别分割处理，得到与关键部位相关联的分割结果，进而可以在调整框集合中，对分割结果包括的M个分割图像所对应的调整框分别进行修正处理，以精准得到M个用于指示待检测图像中的关键部位的边界框(即修正框)。其中，M为小于或者等于N的正整数。由此可见，本申请实施例提供的这种图像检测方法通过去重偏移调整处理、以及综合考虑图像检测和图像分割这两种任务之间的内在联系，高度重视关键部位所在边界框的定位准确性指标，从而得到了能够更加精准指示待检测图像的关键部位的修正框，进而有效提高了图像检测的准确度。
附图说明
[0019]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0020]图1是本申请实施例提供的一种网络架构的结构示意图；
[0021]图2是本申请实施例提供的一种对待检测图像的关键部位进行图像检测的场景示意图；
[0022]图3是本申请实施例提供的一种图像处理方法的流程示意图；
[0023]图4是本申请实施例提供的一种基于图像检测模型进行图像检测的场景示意图；
[0024]图5是本申请实施例提供的一种对候选框集合进行去重处理的场景示意图；
[0025]图6是本申请实施例提供的一种基于图像偏移调整模型进行偏移调整处理的场景示意图；
[0026]图7是本申请实施例提供的一种基于图像识别分割模型进行识别分割处理的场景示意图；
[0027]图8是本申请实施例提供的一种用于进行图像检测的框架示意图；
[0028]图9是本申请实施例提出的一种针对图像检测模型的训练方法的流程示意图；
[0029]图10是本申请实施例提出的一种针对图像偏移调整模型的训练方法的流程示意图；
[0030]图11是本申请实施例提供的一种针对图像识别分割模型的训练方法的流程示意图；
[0031]图12是本申请实施例提供的一种图像处理装置的结构示意图；
[0032]图13是本申请实施例提供的一种计算机设备的示意图。
具体实施方式
[0033]下面将结合本申请本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：在获取到待检测图像时，对所述待检测图像的关键部位进行图像检测，得到候选框集合；基于所述待检测图像，对所述候选框集合进行去重偏移调整处理，得到所述候选框集合对应的调整框集合以及所述调整框集合对应的裁剪图像集合；所述裁剪图像集合包括N个裁剪图像；一个裁剪图像是基于所述调整框集合中的一个调整框对所述待检测图像进行裁剪处理后所得到的；N为正整数；分别对所述N个裁剪图像中的每个裁剪图像进行识别分割处理，得到与所述关键部位相关联的分割结果；所述分割结果包括M个分割图像；M为小于或者等于N的正整数；在所述调整框集合中，对所述M个分割图像对应的调整框分别进行修正处理，得到M个用于指示所述待检测图像中的所述关键部位的修正框。2.根据权利要求1所述的方法，其特征在于，在对所述待检测图像的关键部位进行图像检测，得到候选框集合之前，所述方法还包括：获取用于对第一检测模型进行训练的第一样本图像、以及用于指示所述第一样本图像的实际类别的第一样本标签；所述第一样本图像是对原始样本图像的关键部位进行预处理后所得到的；调用所述第一检测模型，对所述第一样本图像进行图像检测，得到所述第一样本图像针对所述关键部位的预测类别置信度；基于所述第一样本图像的预测类别置信度以及所述第一样本图像的实际类别，对所述第一检测模型进行训练，得到用于对所述待检测图像的关键部位进行图像检测的图像检测模型。3.根据权利要求2所述的方法，其特征在于，所述基于所述第一样本图像的预测类别置信度以及所述第一样本图像的实际类别，对所述第一检测模型进行训练，得到用于对所述待检测图像的关键部位进行图像检测的图像检测模型，包括：对所述第一样本图像的预测类别置信度以及所述第一样本图像的实际类别进行损失计算处理，确定所述第一检测模型的模型损失；基于所述第一检测模型的模型损失，对所述第一检测模型进行训练，得到第一模型训练结果；若所述第一模型训练结果指示训练后的第一检测模型满足第一模型收敛条件，则将满足所述第一模型收敛条件的第一检测模型作为第二检测模型；对所述第二检测模型的网络结构进行结构分析，确定用于对所述待检测图像的关键部位进行图像检测的图像检测模型。4.根据权利要求3所述的方法，其特征在于，所述对所述第二检测模型的网络结构进行结构分析，确定用于对所述待检测图像的关键部位进行图像检测的图像检测模型，包括：对所述第二检测模型的网络结构进行结构分析，得到分析结果；若所述分析结果指示所述第二检测模型的网络结构中存在全连接层，则将所述全连接层替换为已配置有滑动步长的第一卷积层；基于所述全连接层的网络参数，为所述第一卷积层进行赋值，得到第二卷积层；将包括所述第二卷积层的第二检测模型确定为用于对所述待检测图像的关键部位进
行图像检测的图像检测模型。5.根据权利要求1所述的方法，其特征在于，所述基于所述待检测图像，对所述候选框集合进行去重偏移调整处理，得到所述候选框集合对应的调整框集合以及所述调整框集合对应的裁剪图像集合，包括：基于形状适应性极大值抑制的去重规则，对所述候选框集合进行去重处理，得到待处理框集合；所述待处理框集合包括候选框X
i
；i为小于或者等于H的正整数；H用于指示所述待处理框集合中的候选框总数量；调用图像偏移调整模型，通过所述待检测图像对所述候选框X
i
进行偏移调整处理，得到调整框Y
i
以及所述调整框Y
i
对应的裁剪图像；在得到H个调整框时，基于所述去重规则，对所述H个调整框进行去重处理；将去重处理后的调整框确定为所述候选框集合对应的调整框集合，且将去重处理后的调整框对应的裁剪图像确定为所述调整框集合对应的裁剪图像集合。6.根据权利要求5所述的方法，其特征在于，所述候选框集合是在调用图像检测模型，对所述待检测图像的关键部位进行图像检测时所得到的；所述候选框集合包括K个候选框；K为正整数；所述图像检测模型还用于确定所述K个候选框中的每个候选框分别对应的预测类别置信度；所述基于形状适应性极大值抑制的去重规则，对所述候选框集合进行去重处理，得到待处理框集合，包括：基于形状适应性极大值抑制的去重规则所设定的图像裁剪率，对所述K个候选框中的每个候选框分别进行裁剪处理，得到K个裁剪框；基于K个预测类别置信度，对所述K个裁剪框进行排序处理，得到排序结果；将所述排序结果中的具有最大预测类别置信度的裁剪框确定为第一裁剪框，将所述排序结果中除所述第一裁剪框之外的(K
‑
1)个裁剪框确定为第一待过滤集合；基于所述第一裁剪框与所述第一待过滤集合中的每个裁剪框之间的重叠度，对所述K个裁剪框进行去重处理，得到保留框集合；基于所述图像裁剪率，对所述保留框集合中的每个裁剪框分别进行图像扩张处理，得到待处理框集合。7.根据权利要求6所述的方法，其特征在于，所述基于所述第一裁剪框与所述第一待过滤集合中的每个裁剪框之间的重叠度，对所述K个裁剪框进行去重处理，得到保留框集合，包括：分别确定所述第一裁剪框与所述第一待过滤集合中的每个裁剪框之间的重叠度；若所述第一待过滤集合中存在重叠度大于重叠度阈值的重叠裁剪框，则保留所述第一裁剪框，且在所述第一待过滤集合中过滤所述重叠裁剪框；在过滤后的第一待过滤集合中，将具有最大预测类别置信度的裁剪框作为第二裁剪框，将除所述第二裁剪框之外的裁剪框作为第二待过滤集合；保留所述第二裁剪框，且基于所述第二裁剪框与所述第二待过滤集合中的每个裁剪框之间的重叠度，对所述第二待过滤集合中的重叠裁剪框进行去重处理，直到去重处理后的第二待过滤集合为空，将保留的所述第一裁剪框和保留的所述第二裁剪框确定为保留框集合。
8.根据权利要求5所述的方法，其特征在于，所述调用图像偏移调整模型，通过所述待检测图像对所述候选框X
i
进行偏移调整处理，得到调整框Y
i
以及所述调整框Y
i
对应的裁剪图像，包括：调用所述图像偏移调整模型，通过所述待检测图像，对所述候选框X
i
进行偏移量预测，得到第一回归参数；基于所述第一回归参数，对所述候选框X
i
进行调整处理，得到所述候选框X
i
对应的第一调整框；若所述第一回归参数属于回归参数阈值范围，则将所述候选框X
i
对应的第一调整框确定为所述候选框X
i
对应的调整框Y
i
；基于所述调整框Y
i
的坐标位置，对所述待检测图像进行裁剪处理，得到所述调整框Y
i
对应的裁剪图像。9.根据权利要求8所述的方法，其特征在于，在得到所述候选框X

【专利技术属性】
技术研发人员：罗达志，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：