本公开提供了一种图像处理方法、装置、电子设备、介质和计算机程序产品；通过获取原始图像中的目标对象的可见区域的第一掩码，根据所述第一掩码和多个第二掩码，得到多个姿态特征掩码，将所述原始图像和所述第一掩码堆叠后输入目标神经网络模型中，得到第一特征图，根据所述第一特征图和多个所述姿态特征掩码进行堆叠处理，得到所述目标对象的目标完整掩码，其中，第二掩码与目标对象的姿态一一对应，不同的第二掩码对应目标对象的不同姿态，由于在预测目标对象的目标完整掩码的过程中，结合了不同姿态的掩码，从而，提高了获取的目标对象的目标完整掩码的准确性。象的目标完整掩码的准确性。象的目标完整掩码的准确性。
【技术实现步骤摘要】
图像处理方法、装置、电子设备、介质和计算机程序产品
[0001]本公开涉及图像处理
，尤其涉及一种图像处理方法、装置、电子设备、介质和计算机程序产品。
技术介绍
[0002]在图像处理领域，通常需要对图像中一些被部分遮挡的目标对象进行补全，目标对象可以为人体或者其他物体，以人体为例，假设在一张图像中，人体部分被遮挡物遮挡，则需要通过一系列的图像处理，将人体被遮挡的部分补全，得到一个完整的人体。通常，对目标对象进行补全的过程中，通常需要预测目标对象的完整掩码。
[0003]现有技术中，通常将原始图像输入到实例分割网络中，通过实例分割网络得到目标对象的可见区域的掩码，然后再基于原始图像和目标对象的可见区域的掩码通过一个神经网络模型得到目标对象的目标完整掩码。
[0004]然而，采用现有技术得到目标对象的目标完整掩码的准确性不高。
技术实现思路
[0005]为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种图像处理方法、装置、电子设备、介质和计算机程序产品。
[0006]本公开第一方面提供一种图像处理方法，所述方法包括：
[0007]获取原始图像中的目标对象的可见区域的第一掩码，其中，所述原始图像中包含目标对象，所述目标对象部分区域被遮挡物遮挡；
[0008]根据所述第一掩码和多个第二掩码，得到多个姿态特征掩码，其中，不同的所述第二掩码对应所述目标对象的不同姿态；
[0009]将所述原始图像和所述第一掩码堆叠后输入目标神经网络模型中，得到第一特征图，其中，所述目标神经网络模型是基于原始图像样本、目标对象样本的参考完整掩码以及所述多个第二掩码训练得到的，所述原始图像样本中包含所述目标对象样本，所述目标对象样本的部分区域被遮挡物遮挡；
[0010]根据所述第一特征图和多个所述姿态特征掩码进行堆叠处理，得到所述目标对象的目标完整掩码。
[0011]可选的，所述根据所述第一掩码和多个第二掩码，得到多个姿态特征掩码，包括：
[0012]获取所述第一掩码分别与多个所述第二掩码之间的相似度；
[0013]将多个所述相似度与多个所述第二掩码对应相乘，得到所述多个姿态特征掩码。
[0014]可选的，所述根据所述第一掩码和多个第二掩码，得到多个姿态特征掩码之前，还包括：
[0015]获取目标对象的多个掩码样本；
[0016]根据所述掩码样本之间的相似度对所述多个掩码样本进行聚类分析，得到多个聚类集合；
[0017]针对每个聚类集合，根据所述聚类集合中的掩码样本，获取所述聚类集合对应的第二掩码。
[0018]可选的，所述根据所述聚类集合中的掩码样本，获取所述聚类集合对应的第二掩码，包括：
[0019]从所述聚类集合中随机选择一个掩码样本作为所述聚类集合对应第二掩码；
[0020]或者，
[0021]对所述聚类集合中的所有掩码样本求平均，将结果作为所述聚类集合对应第二掩码。
[0022]可选的，所述根据所述掩码样本之间的相似度对所述多个掩码样本进行聚类分析，得到多个聚类集合，包括：
[0023]根据任意两个掩码样本之间的余弦距离和/或欧式距离，得到目标相似矩阵，其中，所述目标相似矩阵中的元素值表示对应的两个掩码样本之间的相似度；
[0024]根据所述目标相似矩阵对所述多个掩码样本进行聚类分析，得到多个聚类集合。
[0025]可选的，所述根据任意两个掩码样本之间的余弦距离和/或欧式距离，得到相似矩阵，包括：
[0026]将掩码样本进行向量化，得到掩码样本向量；
[0027]根据任意两个掩码样本向量之间的余弦距离和/或欧式距离，得到目标相似矩阵。
[0028]可选的，所述根据任意两个掩码样本向量之间的余弦距离和/或欧式距离，得到目标相似矩阵，包括：
[0029]根据任意两个掩码样本向量之间的余弦距离得到的第一相似矩阵，和/或根据任意两个掩码样本向量之间的欧式距离得到的第二相似矩阵；
[0030]将所述第一相似矩阵和所述第二相似矩阵进行线性加权，得到所述目标相似矩阵，或将所述第一相似矩阵作为所述目标相似矩阵，或将所述第二相似矩阵作为所述目标相似矩阵。
[0031]可选的，所述根据所述相似矩阵对所述多个掩码样本进行聚类分析，得到多个聚类集合之前，还包括：
[0032]通过遍历所述目标相似矩阵，获取相似度大于等于预设阈值的掩码样本对；
[0033]将所述掩码样本对作为进行聚类分析的掩码样本。
[0034]本公开第二方面提供一种图像处理装置，所述装置包括：
[0035]获取模块，用于获取原始图像中的目标对象的可见区域的第一掩码，其中，所述原始图像中包含目标对象，所述目标对象部分区域被遮挡物遮挡；
[0036]处理模块，用于根据所述第一掩码和多个第二掩码，得到多个姿态特征掩码，其中，第二掩码与所述目标对象的姿态一一对应，不同的所述第二掩码对应所述目标对象的不同姿态；
[0037]所述处理模块，还用于将所述原始图像和所述第一掩码堆叠后输入目标神经网络模型中，得到第一特征图，其中，所述目标神经网络模型是基于原始图像样本、目标对象样本的参考完整掩码以及所述多个第二掩码训练得到的，所述原始图像样本中包含所述目标对象样本，所述目标对象样本的部分区域被遮挡物遮挡；
[0038]所述处理模块，还用于根据所述第一特征图和多个所述姿态特征掩码进行堆叠处
理，得到所述目标对象的目标完整掩码。
[0039]可选的，所述处理模块具体用于获取所述第一掩码分别与多个所述第二掩码之间的相似度；将多个所述相似度与多个所述第二掩码对应相乘，得到所述多个姿态特征掩码。
[0040]可选的，所述获取模块还用于获取目标对象的多个掩码样本；根据所述掩码样本之间的相似度对所述多个掩码样本进行聚类分析，得到多个聚类集合；针对每个聚类集合，根据所述聚类集合中的掩码样本，获取所述聚类集合对应的第二掩码。
[0041]可选的，所述获取模块具体用于从所述聚类集合中随机选择一个掩码样本作为所述聚类集合对应第二掩码；或者，对所述聚类集合中的所有掩码样本求平均，将结果作为所述聚类集合对应第二掩码。
[0042]可选的，所述获取模块具体用于根据任意两个掩码样本之间的余弦距离和/或欧式距离，得到目标相似矩阵，其中，所述目标相似矩阵中的元素值表示对应的两个掩码样本之间的相似度；根据所述目标相似矩阵对所述多个掩码样本进行聚类分析，得到多个聚类集合。
[0043]可选的，所述获取模块具体用于将掩码样本进行向量化，得到掩码样本向量；根据任意两个掩码样本向量之间的余弦距离和/或欧式距离，得到目标相似矩阵。
[0044]可选的，所述获取模块具体用于根据任意两个掩码样本向量之间的余弦距离得到的第一相似矩阵，和/或根据任意两个掩码样本向量之间的欧式距离得到的第二相似矩阵；将所述第一相似矩阵和所述第二相本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取原始图像中的目标对象的可见区域的第一掩码，其中，所述原始图像中包含目标对象，所述目标对象部分区域被遮挡物遮挡；根据所述第一掩码和多个第二掩码，得到多个姿态特征掩码，其中，不同的所述第二掩码对应所述目标对象的不同姿态；将所述原始图像和所述第一掩码堆叠后输入目标神经网络模型中，得到第一特征图，其中，所述目标神经网络模型是基于原始图像样本、目标对象样本的参考完整掩码以及所述多个第二掩码训练得到的，所述原始图像样本中包含所述目标对象样本，所述目标对象样本的部分区域被遮挡物遮挡；根据所述第一特征图和多个所述姿态特征掩码进行堆叠处理，得到所述目标对象的目标完整掩码。2.根据权利要求1所述的方法，其特征在于，所述根据所述第一掩码和多个第二掩码，得到多个姿态特征掩码，包括：获取所述第一掩码分别与多个所述第二掩码之间的相似度；将多个所述相似度与多个所述第二掩码对应相乘，得到所述多个姿态特征掩码。3.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一掩码和多个第二掩码，得到多个姿态特征掩码之前，还包括：获取目标对象的多个掩码样本；根据所述掩码样本之间的相似度对所述多个掩码样本进行聚类分析，得到多个聚类集合；针对每个聚类集合，根据所述聚类集合中的掩码样本，获取所述聚类集合对应的第二掩码。4.根据权利要求3所述的方法，其特征在于，所述根据所述聚类集合中的掩码样本，获取所述聚类集合对应的第二掩码，包括：从所述聚类集合中随机选择一个掩码样本作为所述聚类集合对应第二掩码；或者，对所述聚类集合中的所有掩码样本求平均，将结果作为所述聚类集合对应第二掩码。5.根据权利要求3所述的方法，其特征在于，所述根据所述掩码样本之间的相似度对所述多个掩码样本进行聚类分析，得到多个聚类集合，包括：根据任意两个掩码样本之间的余弦距离和/或欧式距离，得到目标相似矩阵，其中，所述目标相似矩阵中的元素值表示对应的两个掩码样本之间的相似度；根据所述目标相似矩阵对所述多个掩码样本进行聚类分析，得到多个聚类集合。6.根据权利要求5所述的方法，其特征在于，所述根据任意两个掩码样本之间的余弦距离和/或欧式距离，得到相似矩阵，包括：将掩码样本进行向量化，得到掩码样本向量；根据任意两个掩码样本向量之间的余弦距...
【专利技术属性】
技术研发人员：王诗吟，周强，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。