一种身体部位识别方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术公开了一种身体部位识别方法、装置、电子设备及存储介质，方法包括：将待处理的图像输入已训练的识别模型，通过识别模型中的特征提取模块对图像进行特征提取得到特征图；通过识别模型中的分割模块获取特征图和特征提取过程中产生的预处理中间特征，基于特征图和预处理中间特征进行人体分割并输出人体分割图；通过识别模型中的分类模块获取特征图，并基于特征图进行分类预测并输出身体部位分类结果。通过采用一个深度学习模型进行双分支预测，由第一分支的预测需求可以保证模型中特征提取模块提取特征更多集中于人体，从而辅助第二分支从人体特征中准确学习出不同身体部位分类结果，消除身体部位在图像中占比小的感受野问题。受野问题。受野问题。

【技术实现步骤摘要】
一种身体部位识别方法、装置、电子设备及存储介质


[0001]本专利技术涉及计算机
，具体涉及一种身体部位识别方法、装置、电子设备及存储介质。

技术介绍

[0002]随着互联网时代的进步，每天都会产生上亿的图片数据。在某些应用场景中，例如一些医美类APP，用户会上传分享各种术前术后的图片，这些用户上传的图片缺乏语义信息，甚至会有不是身体部位的图片，比如风景照、美食照等，这给使用APP的用户带来很不好的产品体验。因此如何从大量用户上传的图片中筛选出真正有用的图片，就需要解决图片中人体身体部位识别的问题。
[0003]在一些传统的方法中，单纯的基于深度学习的分类思想，虽然用于模型训练的标注量少，但是当身体部位在图片中占比较小时，其预测得分会比较低，带来感受野问题；单纯的基于深度学习的身体部位分割思想，虽然可以解决感受野问题，但是却需要大量的像素级别的标注，即使有开源的训练集，也需要少量的应用场景相关的标注数据。

技术实现思路

[0004]本专利技术的目的是针对上述现有技术的不足提出的一种身体部位识别方法、装置、电子设备及存储介质，该目的是通过以下技术方案实现的。
[0005]本专利技术的第一方面提出了一种身体部位识别方法，所述方法包括：
[0006]将待处理的图像输入已训练的识别模型，通过所述识别模型中的特征提取模块对所述图像进行特征提取，以得到特征图；
[0007]通过所述识别模型中的分割模块获取所述特征图和特征提取过程中产生的预处理中间特征，并基于所述特征图和所述预处理中间特征进行特征融合，并根据融合后的特征进行人体分割并输出人体分割图；
[0008]通过所述识别模型中的分类模块获取所述特征图，并基于所述特征图进行身体部位的分类预测并输出各身体部位的分类结果。
[0009]在本申请的一些实施例中，所述通过所述识别模型中的特征提取模块对所述图像进行特征提取，以得到特征图，包括：
[0010]通过所述特征提取模块中的第一卷积层对所述图像进行卷积处理后输入至所述特征提取模块中的预处理模块；通过所述预处理模块对卷积处理后的图像进行下采样处理，以获得基础中间特征，并将基础中间特征输入所述特征提取模块中的下采样残差网络；通过所述下采样残差网络对所述基础中间特征进行多次下采样处理，以获得特征图。
[0011]在本申请的一些实施例中，通过所述下采样残差网络对所述基础中间特征进行多次下采样处理，以获得特征图，包括：
[0012]通过所述下采样残差网络中的第一下采样残差块对所述基础中间特征进行下采样处理以获得第一预处理中间特征，并将第一预处理中间特征输入至所述下采样残差网络
中的第二下采样残差块；通过所述第二下采样残差块对第一预处理中间特征进行下采样处理以获得第二预处理中间特征，并将第二预处理中间特征输入至所述下采样残差网络中的第三下采样残差块；通过所述第三下采样残差块对第二预处理中间特征进行下采样处理以获得第三预处理中间特征，并将第三预处理中间特征输入至所述下采样残差网络中的第四下采样残差块；通过所述第四下采样残差块对第三预处理中间特征的通道维度进行升维处理，以获得特征图。
[0013]在本申请的一些实施例中，通过所述分割模块基于所述特征图和所述预处理中间特征进行特征融合，并根据融合后的特征进行人体分割，包括：
[0014]通过所述分割模块中的上采样残差网络基于所述特征图和所述预处理中间特征进行特征融合处理以获得融合后的特征，并将融合后的特征输入至分割模块中的反卷积层；通过所述反卷积层对融合后的特征进行反卷积操作，以获得人体分割图。
[0015]在本申请的一些实施例中，所述预处理中间特征包括第一预处理中间特征、第二预处理中间特征和第三预处理中间特征；通过所述分割模块中的上采样残差网络基于所述特征图和所述预处理中间特征进行特征融合处理以获得融合后的特征，包括：
[0016]通过所述上采样残差网络中的第一上采样残差块将所述特征图和第三预处理中间特征进行特征融合后再进行上采样处理，以获得第一结果中间特征，并将第一结果中间特征输入至所述上采样残差网络中的第二上采样残差块；通过所述第二上采样残差块将所述特征图进行第一倍数的上采样处理，并将上采样后的特征图、第一结果中间特征和第二预处理中间特征进行特征融合后再进行上采样处理，以获得第二结果中间特征，并将第二结果中间特征输入至所述上采样残差网络中的第三上采样残差块；通过所述第三上采样残差块将所述特征图进行第二倍数的上采样处理，并将处理后的特征图、第二结果中间特征和第一预处理中间特征进行特征融合后再进行上采样处理，以获得融合后的特征。
[0017]在本申请的一些实施例中，通过所述分类模块基于所述特征图进行身体部位的分类预测，以获得各身体部位的分类结果，包括：
[0018]通过所述分类模块中的第二卷积层对所述特征图进行下采样处理后输入至所述分类模块中的第三卷积层；通过所述第三卷积层对下采样后的特征图的通道维度进行升维处理，以获得预设通道维度的特征向量；其中，所述特征向量中的每一通道维度的特征值表示一种分类结果。
[0019]在本申请的一些实施例中，所述方法还包括识别模型的训练过程：
[0020]利用预设的开源数据集对已构建模型中的特征提取模块和分割模块进行训练；所述开源数据集中的每一训练样本携带有人体语义分割标签；获取私有数据集，所述私有数据集中的每一训练样本标注有各身体部位类别标签；固定所述特征提取模块和分割模块的网络参数，并利用所述私有数据集对已构建模型中的分类模块进行训练。
[0021]在本申请的一些实施例中，在将待处理的图像输入已训练的识别模型之前，所述方法还包括：
[0022]接收客户端上传的用户分享信息；从所述用户分享信息中提取用户照片；对所述用户照片进行归一化处理，并将归一化处理后的用户照片作为待处理的图像。
[0023]本专利技术的第二方面提出了一种身体部位识别装置，所述装置包括：
[0024]输入模块，用于将用户上传的图像输入已训练的识别模型；
[0025]特征提取模块，用于通过所述识别模型中的特征提取模块对所述图像进行特征提取，以得到特征图；
[0026]人体分离模块，用于通过所述识别模型中的分割模块获取所述特征图和特征提取过程中产生的预处理中间特征，并基于所述特征图和所述预处理中间特征进行特征融合，并根据融合后的特征进行人体分割并输出人体分割图；
[0027]身体部位识别模块，用于通过所述识别模型中的分类模块获取所述特征图，并基于所述特征图进行身体部位的分类预测并输出各身体部位的分类结果。
[0028]本专利技术的第三方面提出了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一方面所述方法的步骤。
[0029]本专利技术的第四方面提出了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述第一方面所述方法的步骤。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种身体部位识别方法，其特征在于，所述方法包括：将待处理的图像输入已训练的识别模型，通过所述识别模型中的特征提取模块对所述图像进行特征提取，以得到特征图；通过所述识别模型中的分割模块获取所述特征图和特征提取过程中产生的预处理中间特征，并基于所述特征图和所述预处理中间特征进行特征融合，并根据融合后的特征进行人体分割并输出人体分割图；通过所述识别模型中的分类模块获取所述特征图，并基于所述特征图进行身体部位的分类预测并输出各身体部位的分类结果。2.根据权利要求1所述的方法，其特征在于，所述通过所述识别模型中的特征提取模块对所述图像进行特征提取，以得到特征图，包括：通过所述特征提取模块中的第一卷积层对所述图像进行卷积处理后输入至所述特征提取模块中的预处理模块；通过所述预处理模块对卷积处理后的图像进行下采样处理，以获得基础中间特征，并将基础中间特征输入所述特征提取模块中的下采样残差网络；通过所述下采样残差网络对所述基础中间特征进行多次下采样处理，以获得特征图。3.根据权利要求2所述的方法，其特征在于，通过所述下采样残差网络对所述基础中间特征进行多次下采样处理，以获得特征图，包括：通过所述下采样残差网络中的第一下采样残差块对所述基础中间特征进行下采样处理以获得第一预处理中间特征，并将第一预处理中间特征输入至所述下采样残差网络中的第二下采样残差块；通过所述第二下采样残差块对第一预处理中间特征进行下采样处理以获得第二预处理中间特征，并将第二预处理中间特征输入至所述下采样残差网络中的第三下采样残差块；通过所述第三下采样残差块对第二预处理中间特征进行下采样处理以获得第三预处理中间特征，并将第三预处理中间特征输入至所述下采样残差网络中的第四下采样残差块；通过所述第四下采样残差块对第三预处理中间特征的通道维度进行升维处理，以获得特征图。4.根据权利要求3所述的方法，其特征在于，通过所述分割模块基于所述特征图和所述预处理中间特征进行特征融合，并根据融合后的特征进行人体分割，包括：通过所述分割模块中的上采样残差网络基于所述特征图和所述预处理中间特征进行特征融合处理以获得融合后的特征，并将融合后的特征输入至分割模块中的反卷积层；通过所述反卷积层对融合后的特征进行反卷积操作，以获得人体分割图。5.根据权利要求4所述的方法，其特征在于，所述预处理中间特征包括第一预处理中间特征、第二预处理中间特征和第三预处理中间特征；通过所述分割模块中的上采样残差网络基于所述特征图和所述预处理中间特征进行特征融合处理以获得融合后的特征，包括：通过所述上采样残差网络中的第一上采样残差块将所述特征图和第三预处理中间特征进行特征融合后再进行上采样处理，以获得第一结果中间特征，并将第一结果中间特征
输入至所述上采样...

【专利技术属性】
技术研发人员：降小龙，
申请(专利权)人：北京新氧科技有限公司，
类型：发明
国别省市：