图像处理方法、装置、电子设备及存储介质制造方法及图纸

本公开是关于一种图像处理方法、装置、电子设备及存储介质，属于计算机技术领域。方法包括：获取第一训练样本和第二训练样本，第一训练样本和第二训练样本中的内容图像中的内容已被调整，且被调整的区域与对应的掩膜图像所指示的区域之间的重合度不大于目标阈值；将第一内容图像、第一内容图像对应的掩膜图像和第二内容图像输入图像识别模型，得到第二内容图像对应的预测掩膜图像；基于预测掩膜图像和第二内容图像对应的掩膜图像，调整图像识别模型的模型参数。由于该训练样本中的内容图像是经过调整的图像，因此增大了图像识别模型的学习难度，有效降低训练图像分割模型时的过拟合风险，有利于提高图像识别模型的鲁棒性。有利于提高图像识别模型的鲁棒性。有利于提高图像识别模型的鲁棒性。

【技术实现步骤摘要】
图像处理方法、装置、电子设备及存储介质


[0001]本公开涉及计算机
，尤其涉及一种图像处理方法、装置、电子设备及存储介质。

技术介绍

[0002]随着计算机技术的发展，图像识别的应用越来越广泛。采用图像识别技术可以将内容图像中的对象所在的区域识别出来，例如识别内容图像中的小狗所在的区域，或者识别视频流中连续的多个图像中的同一个人物所在的区域。
[0003]相关技术中，人工标注内容图像对应的掩膜图像，该掩膜图像用于表示该内容图像中的对象所在的区域，然后利用该内容图像和掩膜图像，训练图像识别模型。但是，由于人工标注的图像数据量较少，因此该方法中存在图像识别模型过拟合的风险，导致图像识别模型的鲁棒性较低。

技术实现思路

[0004]本公开提供了一种图像处理方法、装置、电子设备及存储介质，能够提高图像识别模型的鲁棒性和准确性。
[0005]根据本公开实施例的一方面，提供一种图像处理方法，所述方法包括：
[0006]获取第一训练样本和第二训练样本，所述第一训练样本包括第一内容图像和所述第一内容图像对应的掩膜图像，所述第二训练样本包括第二内容图像和所述第二内容图像对应的掩膜图像，所述第一内容图像与所述第二内容图像为同一个视频流中连续的两张内容图像，且所述第一内容图像位于所述第二内容图像之前，所述第一训练样本和所述第二训练样本中的内容图像中的内容已被调整，且被调整的区域与对应的掩膜图像所指示的区域之间的重合度不大于目标阈值；
[0007]将所述第一内容图像、所述第一内容图像对应的掩膜图像和所述第二内容图像输入图像识别模型，得到所述第二内容图像对应的预测掩膜图像；
[0008]基于所述预测掩膜图像和所述第二内容图像对应的掩膜图像，调整所述图像识别模型的模型参数，以使调用调整后的图像识别模型得到的预测掩膜图像与所述第二内容图像对应的掩膜图像之间的相似度增大，直至所述图像识别模型满足训练结束条件，得到训练后的所述图像识别模型，训练后的所述图像识别模型用于识别任一内容图像对应的掩膜图像。
[0009]本公开实施例中，利用第一训练样本和第二训练样本，训练图像识别模型，由于该第一训练样本和该第二训练样本中的内容图像是经过调整的图像，因此增大了图像识别模型的学习难度，有效降低训练图像分割模型时的过拟合风险，有利于提高图像识别模型的鲁棒性。并且被调整的区域与所需识别的区域之间的重合度不大于目标阈值，因此避免了由于调整导致内容图像中丢失较多重要信息的问题，有利于提高图像识别模型的准确性。
[0010]可选地，所述图像识别模型包括第一特征提取网络、第二特征提取网络、特征处理
网络和特征解码网络；
[0011]所述将所述第一内容图像、所述第一内容图像对应的掩膜图像和所述第二内容图像输入所述图像识别模型，得到所述第二内容图像对应的预测掩膜图像，包括：
[0012]将所述第二内容图像输入所述第一特征提取网络，得到第一键特征和第一值特征；
[0013]将所述第一内容图像和所述第一内容图像对应的掩膜图像输入所述第二特征提取网络，得到第二键特征和第二值特征；
[0014]将所述第一值特征、所述第一键特征、所述第二键特征和所述第二值特征输入所述特征处理网络，得到第三值特征；
[0015]将所述第三值特征输入所述特征解码网络，得到所述预测掩膜图像。
[0016]根据本公开实施例的另一方面，提供一种图像处理方法，所述方法包括：
[0017]获取第三内容图像和所述第三内容图像对应的掩膜图像，所述第三内容图像对应的掩膜图像用于指示在所述第三内容图像中识别出的第一区域；
[0018]在所述第三内容图像中确定第二区域，所述第二区域与所述第一区域之间的重合度不大于目标阈值；
[0019]对所述第三内容图像中的所述第二区域的内容进行调整，得到第四内容图像，所述第四内容图像、所述第三内容图像对应的掩膜图像为图像识别模型的训练样本。
[0020]本公开实施例中，第三内容图像中包括识别出的第一区域，先在该第三内容图像中确定与该第一区域之间的重合度不大于目标阈值的第二区域，对该第二区域进行调整，得到第四内容图像。由于该第四内容图像是经过调整的内容图像，基于调整后的内容图像来训练图像识别模型，增大了图像识别模型的学习难度，使得图像识别模型能够学习到更有价值的特征，从而有效降低训练图像分割模型时的过拟合风险，有利于提高图像识别模型的识别能力，并且由于第一区域是识别出的区域，该第一区域包括较多重要信息，而第二区域与该第一区域之间的重合度较小，因此该第二区域包括的重要信息较少，从而避免了由于调整导致内容图像中丢失较多重要信息的问题。因此，将该第四内容图像与该掩膜图像作为图像识别模型的训练样本，能够提高图像分割模型的鲁棒性和准确性。
[0021]可选地，所述在所述第三内容图像中确定第二区域，包括：
[0022]在所述第三内容图像中确定候选区域；
[0023]在所述候选区域与所述第一区域之间的重合度大于所述目标阈值的情况下，将所述候选区域中与所述第一区域不重合的区域确定为所述第二区域；
[0024]在所述候选区域与所述第一区域之间的重合度不大于所述目标阈值的情况下，将所述候选区域确定为所述第二区域。
[0025]本公开实施例中，先确定一个候选区域，如果该候选区域与第一区域之间的重合度大于目标阈值，则仅将该候选区域中与第一区域不重合的区域确定为第二区域，使得第二区域与第一区域之间的重合度为0，如果该候选区域与第一区域之间的重合度不大于目标阈值，则直接将该候选区域确定为第二区域，从而保证了电子设备将要进行调整的第二区域与第一区域之间的重合度不大于目标阈值，操作简单方便。
[0026]可选地，所述在所述第三内容图像中确定候选区域，包括：
[0027]确定目标长度和目标宽度；
[0028]在所述第三内容图像中确定一个位置点；
[0029]确定以所述位置点为顶点、长度等于所述目标长度且宽度等于所述目标宽度的候选区域，且所述候选区域位于所述第三内容图像中。
[0030]本公开实施例中，在已确定候选区域的目标长度和目标宽度的情况下，将在第一内容图像中确定的位置点作为该候选区域的顶点，从而保证了电子设备所确定候选区域的随机性，该方法便于实现，具有较高的灵活性。
[0031]可选地，所述确定目标长度和目标宽度，包括：
[0032]获取面积比例和长宽比例，所述面积比例表示待调整的区域的面积与所述第三内容图像的面积之间的比例，所述长宽比例表示待调整的区域的长度与宽度之间的比例；
[0033]根据所述第三内容图像的面积与所述面积比例，得到目标面积；
[0034]基于所述目标面积和所述长宽比例，确定所述目标长度和所述目标宽度。
[0035]本公开实施例中，利用预先设置的面积比例和第一内容图像的面积来确定候选区域的面积，便于对确定的候选区域的面积进行控制，以保证确定的候选区域本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取第一训练样本和第二训练样本，所述第一训练样本包括第一内容图像和所述第一内容图像对应的掩膜图像，所述第二训练样本包括第二内容图像和所述第二内容图像对应的掩膜图像，所述第一内容图像与所述第二内容图像为同一个视频流中连续的两张内容图像，且所述第一内容图像位于所述第二内容图像之前，所述第一训练样本和所述第二训练样本中的内容图像中的内容已被调整，且被调整的区域与对应的掩膜图像所指示的区域之间的重合度不大于目标阈值；将所述第一内容图像、所述第一内容图像对应的掩膜图像和所述第二内容图像输入图像识别模型，得到所述第二内容图像对应的预测掩膜图像；基于所述预测掩膜图像和所述第二内容图像对应的掩膜图像，调整所述图像识别模型的模型参数，以使调用调整后的图像识别模型得到的预测掩膜图像与所述第二内容图像对应的掩膜图像之间的相似度增大，直至所述图像识别模型满足训练结束条件，得到训练后的所述图像识别模型，训练后的所述图像识别模型用于识别任一内容图像对应的掩膜图像。2.根据权利要求1所述的图像处理方法，其特征在于，所述图像识别模型包括第一特征提取网络、第二特征提取网络、特征处理网络和特征解码网络；所述将所述第一内容图像、所述第一内容图像对应的掩膜图像和所述第二内容图像输入图像识别模型，得到所述第二内容图像对应的预测掩膜图像，包括：将所述第二内容图像输入所述第一特征提取网络，得到第一键特征和第一值特征；将所述第一内容图像和所述第一内容图像对应的掩膜图像输入所述第二特征提取网络，得到第二键特征和第二值特征；将所述第一值特征、所述第一键特征、所述第二键特征和所述第二值特征输入所述特征处理网络，得到第三值特征；将所述第三值特征输入所述特征解码网络，得到所述预测掩膜图像。3.一种图像处理方法，其特征在于，所述方法包括：获取第三内容图像和所述第三内容图像对应的掩膜图像，所述第三内容图像对应的掩膜图像用于指示在所述第三内容图像中识别出的第一区域；在所述第三内容图像中确定第二区域，所述第二区域与所述第一区域之间的重合度不大于目标阈值；对所述第三内容图像中的所述第二区域的内容进行调整，得到第四内容图像，所述第四内容图像、所述第三内容图像对应的掩膜图像为图像识别模型的训练样本。4.根据权利要求3所述的图像处理方法，其特征在于，所述在所述第三内容图像中确定第二区域，包括：在所述第三内容图像中确定候选区域；在所述候选区域与所述第一区域之间的重合度大于所述目标阈值的情况下，将所述候选区域中与所述第一区域不重合的区域确定为所述第二区域；在所述候选区域与所述第一区域之间的重合度不大于所述目标阈值的情况下，将所述候选区域确定为所述第二区域。5.根据权利要求4所述的图像处理方法，其特征在于，所述在所述第三内容图像中确定
候选区域，包括：确定目标长度和目标宽度；在所述第三内容图像中确定一个位置点；确定以所述位置点为顶点、长度等于所述目标长度且宽度等于所述目标宽度的候选区域，且所述候选区域位于所述第三内容图像中。6.根据权利要求5所述的图像处理方法，其特征在于，所述确定目标长度和目标宽度，包括：获取面积比例和长宽比例，所述面积比例表示待调整的区域的面积与所述第三内容图像的面积之间的比例，所述长宽比例表示待调整的区域的长度与宽度之间的比例；根据所述第三内容图像的面积与所述面积比例，得到目标面积；基于所述目标面积和所述长宽比例，确定所述目标长度和所述目标宽度。7.根据权利要求5所述的图像处理方法，其特征在于，所述确定以所述位置点为顶点、长度等于所述目标长度且宽度等于所述目标宽度的候选区域，包括：确定以所述位置点为顶点、长度等于所述目标长度且宽度等于所述目标宽度的目标区域；在所述目标区域未超出所述第三内容图像的情况下，将所述目标区域确定为所述候选区域。8.根据权利要求7所述的图像处理方法，其特征在于，所述方法还包括：在所述目标区域超出所述第三内容图像的情况下，重新确定新的位置点，确定以所述新的位置点为顶点、长度等于所述目标长度且宽度等于所述目标宽度的目标区域，直至确定的目标区域未超出所述第三内容图像，将当前的目标区域确定为所述候选区域。9.根据权利要求4所述的图像处理方法，其特征在于，所述在所述第三内容图像中确定候选区域之后，所述方法还包括：确定第一数量和第二数量，所述第一数量为所述第一区域中的像素点的数量，所述第二数量为所述候选区域与所述第一区域重合的区域中的像素点的数量；计算所述第二数量与所述第一数量之间的比值，所述比值为所述重合度。10.根据权利要求3所述的图像处理方法，其特征在于，所述在所述第三内容图像中确定第二区域，包括：生成随机数，所述随机数为0到1之间的数值；在所述随机数不大于目标概率值的情况下，在所述第三内容图像中确定所述第二区域。11.根据权利要求3
‑
10任一项所述的图像处理方法，其特征在于，所述对所述第三内容图像中的所述第二区域的内容进行调整，...

【专利技术属性】
技术研发人员：王伟农，戴宇荣，陶鑫，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：