图像增强方法、装置、电子设备以及存储介质制造方法及图纸

本公开提供了一种图像增强方法、装置、电子设备以及存储介质，其中，该方法包括：确定第一图像中对象的第一目标肢体的姿态，得到第一姿态；基于所述第一姿态对所述第一目标肢体进行姿态变换，并基于所述变换后的第一目标肢体确定多个候选图像；各所述候选图像中第一目标肢体变换后的姿态不同；确定每个所述候选图像的预测数据；其中，所述预测数据用于指示对应候选图像中所述第一目标肢体变换后的姿态为预设姿态的概率；基于所述预测数据在多个所述候选图像中确定第一增强图像；其中，所述第一增强图像中所述对象的第一目标肢体为第一预设姿态，所述第一预设姿态为图像集中图像数量满足预设条件的预设姿态。满足预设条件的预设姿态。满足预设条件的预设姿态。

【技术实现步骤摘要】
图像增强方法、装置、电子设备以及存储介质


[0001]本公开涉及人工智能
，具体而言，涉及一种图像增强方法、装置、电子设备以及存储介质。

技术介绍

[0002]随着人工智能技术的快速发展，现有图像采集技术所采集到的图像种类和数量已无法满足人工智能技术的需求，这将影响人工智能技术的准确性。例如，在机器学习系统的学习阶段，通常选择现有的图像集对该机器学习系统进行学习。然而，现有的图像集的各图像中目标的姿态不完全相同，且所属于每种姿态的图像的数量也不相同。其中图像数量较少的姿态，将影响该机器学习系统对该姿态的学习质量，从而影响该机器学习系统的姿态检测准确性。

技术实现思路

[0003]本公开实施例至少提供一种图像增强方法、装置、电子设备以及存储介质。
[0004]第一方面，本公开实施例提供了一种图像增强方法，包括：确定第一图像中对象的第一目标肢体的姿态，得到第一姿态；基于所述第一姿态对所述第一目标肢体进行姿态变换，并基于变换后的第一目标肢体确定多个候选图像；各所述候选图像中第一目标肢体变换后的姿态不同；确定每个所述候选图像的预测数据；其中，所述预测数据用于指示对应候选图像中所述第一目标肢体变换后的姿态为预设姿态的概率；基于所述预测数据在多个所述候选图像中确定第一增强图像；其中，所述第一增强图像中所述对象的第一目标肢体为第一预设姿态，所述第一预设姿态为图像集中图像数量满足预设条件的预设姿态。
[0005]上述实施方式中，可以基于对象原始的第一姿态对第一目标肢体进行姿态变换，并基于变换后的第一目标肢体生成多个包含多种姿态的候选图像，从而改变第一图像中对象的第一姿态，为该对象自动生成新的姿态，丰富该对象的姿态类型。进一步，基于各候选图像的预测数据确定第一增强图像，可以实现在多个候选图像中筛选所属于第一预设姿态的第一增强图像。这里，第一预设姿态可以理解为预设姿态中所属图像集中图像数量满足预设条件的预设姿态。通过对第一预设姿态对应的图像集进行增强，可以增大该第一预设姿态所对应图像集的图像数量，从而提高机器学习系统对该第一预设姿态的学习质量。
[0006]一种可选的实施方式中，所述第一目标肢体包含子肢体，所述第一姿态包含所述子肢体的子姿态；所述基于所述第一姿态对所述第一目标肢体进行姿态变换，并基于变换后的第一目标肢体确定多个候选图像，包括：基于所述第一图像的图像分割结果，在所述第一图像中分割得到所述子肢体的分割图像；其中，所述图像分割结果用于指示所述对象的肢体分割结果；基于所述子姿态对所述分割图像中的所述子肢体进行姿态变换，变换后得到第一待融合图像；基于所述第一图像和所述第一待融合图像确定所述候选图像。
[0007]一种可选的实施方式中，所述基于所述第一图像和所述第一待融合图像确定所述候选图像包括：基于所述图像分割结果对所述第一图像进行处理，得到第二待融合图像；其
中，所述第二待融合图像中包含所述对象的第二目标肢体，所述第二目标肢体为除所述子肢体外的剩余肢体；确定每个所述第一待融合图像在所述第二待融合图像中的融合位置，并基于所述融合位置将所述第一待融合图像和所述第二待融合图像进行融合处理，融合后得到所述候选图像。
[0008]上述实施方式中，通过对第一图像中对象的多个子肢体进行姿态变换，可以生成新的具有多样性的对象姿态，从而可以得到包含多样性对象姿态的候选图像，进而提高了在多个候选图像中筛选满足要求的新第一图像的概率。
[0009]一种可选的实施方式中，所述第一姿态为肢体关键点的坐标；所述基于所述第一姿态对所述第一目标肢体进行姿态变换，包括：确定所述第一目标肢体的姿态变换类型；基于所述姿态变换类型确定所述第一目标肢体的姿态变换矩阵；基于所述姿态变换矩阵对所述第一目标肢体的肢体关键点的坐标进行坐标变换，得到所述变换后的第一目标肢体。
[0010]上述实施方式中，可以通过仿射变换的方式对第一目标肢体进行姿态变换。通过对第一目标肢体进行仿射变换，能够实现更加合理的对第一目标肢体进行姿态变换，从而得到合理且丰富的肢体姿态。
[0011]一种可选的实施方式中，所述第一图像的数量为多个，所述方法包括通过以下方式确定所述预设姿态：基于各所述第一图像中对象的第一姿态，对多个所述第一图像进行聚类处理，得到多个聚类簇；其中，每个所述聚类簇对应一个姿态类型，不同聚类簇对应不同的姿态类型；将各所述聚类簇对应的姿态类型确定为所述预设姿态。
[0012]上述实施方式中，通过对多个第一图像进行聚类分析，能够得到所属于各预设姿态的第一图像的图像分布情况，从而在各预设姿态中确定对应图像数量较少的预设姿态作为第一预设姿态(也即，上述稀有预设姿态)，从而能够实现对第一预设姿态所对应的第一图像进行增强处理。
[0013]一种可选的实施方式中，所述基于各所述第一图像中对象的第一姿态，对多个所述第一图像进行聚类处理，得到多个聚类簇，包括：对每个所述第一姿态进行归一化处理，得到归一化后第一姿态；基于所述归一化后第一姿态对多个所述第一图像进行聚类处理，得到所述多个聚类簇。
[0014]一种可选的实施方式中，所述对每个所述第一姿态进行归一化处理，得到归一化后第一姿态，包括：确定每个所述第一图像中对象的检测框，并获取该第一图像中位于所述检测框内的目标图像；对所述目标图像的图像尺寸进行归一化处理，得到所述归一化后第一姿态。
[0015]上述实施方式中，通过将目标图像的尺寸进行归一化处理，可以提高高斯混合模型的聚类精度，从而得到更加准确的聚类结果。
[0016]一种可选的实施方式中，所述基于所述预测数据在多个所述候选图像中确定第一增强图像，包括：获取每个所述预设姿态的姿态权重；其中，所述姿态权重用于指示多个所述第一图像中所属于对应预设姿态的第一图像的图像数量占比；对每个所述候选图像的预测数据和所述姿态权重进行加权求和，得到每个所述候选图像的加权求和结果；将各所述候选图像的加权求和结果中目标加权求和结果所对应候选图像确定为所述第一增强图像；所述目标加权求和结果用于指示对应候选图像中对象的第一目标肢体为所述第一预设姿态的概率满足概率要求。
[0017]一种可选的实施方式中，所述基于所述预测数据在所述多个候选图像中确定第一增强图像，包括：基于所述预测数据在所述多个候选图像中确定目标候选图像；其中，所述目标候选图像中对象的变换姿态为第二预设姿态的概率大于或者等于预设概率阈值，所述第二预设姿态为所属图像集中图像数量满足数量要求的预设姿态；在所述多个候选图像中除所述目标候选图像之外的候选图像中确定所述第一增强图像。
[0018]上述实施方式中，能够在各预设姿态中确定对应图像数量较少的预设姿态作为第一预设姿态，从而能够实现对第一预设姿态所对应的第一图像进行增强处理。
[0019]第二方面，本公开实施例提供了一种图像增强装置，包括：第一确定单元，用于确定第一图像中对象的第一目标肢体的姿态，得到第一姿态；姿态变换单元，用于基于所述第一姿态对所述第一目标肢体进行姿态变换，得到变换后的第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像增强方法，其特征在于，包括：确定第一图像中对象的第一目标肢体的姿态，得到第一姿态；基于所述第一姿态对所述第一目标肢体进行姿态变换，并基于变换后的第一目标肢体确定多个候选图像；各所述候选图像中第一目标肢体变换后的姿态不同；确定每个所述候选图像的预测数据；其中，所述预测数据用于指示对应候选图像中所述第一目标肢体变换后的姿态为预设姿态的概率；基于所述预测数据在多个所述候选图像中确定第一增强图像；其中，所述第一增强图像中所述对象的第一目标肢体为第一预设姿态，所述第一预设姿态为图像集中图像数量满足预设条件的预设姿态。2.根据权利要求1所述的方法，其特征在于，所述第一目标肢体包含子肢体，所述第一姿态包含所述子肢体的子姿态；所述基于所述第一姿态对所述第一目标肢体进行姿态变换，并基于变换后的第一目标肢体确定多个候选图像，包括：基于所述第一图像的图像分割结果，在所述第一图像中分割得到所述子肢体的分割图像；其中，所述图像分割结果用于指示所述对象的肢体分割结果；基于所述子姿态对所述分割图像中的所述子肢体进行姿态变换，变换后得到第一待融合图像；基于所述第一图像和所述第一待融合图像确定所述候选图像。3.根据权利要求2所述的方法，其特征在于，所述基于所述第一图像和所述第一待融合图像确定所述候选图像，包括：基于所述图像分割结果对所述第一图像进行处理，得到第二待融合图像；其中，所述第二待融合图像中包含所述对象的第二目标肢体，所述第二目标肢体为除所述子肢体外的剩余肢体；确定每个所述第一待融合图像在所述第二待融合图像中的融合位置，并基于所述融合位置将所述第一待融合图像和所述第二待融合图像进行融合处理，融合后得到所述候选图像。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述第一姿态为肢体关键点的坐标；所述基于所述第一姿态对所述第一目标肢体进行姿态变换，包括：确定所述第一目标肢体的姿态变换类型；基于所述姿态变换类型确定所述第一目标肢体的姿态变换矩阵；基于所述姿态变换矩阵对所述第一目标肢体的肢体关键点的坐标进行坐标变换，得到所述变换后的第一目标肢体。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述第一图像的数量为多个，所述方法包括通过以下方式确定所述预设姿态：基于各所述第一图像中对象的第一姿态，对多个所述第一图像进行聚类处理，得到多个聚类簇；其中，每个所述聚类簇对应一个姿态类型，不同聚类簇对应不同的姿态类型；将各所述聚类簇对应的姿态类型确定为所述预设姿态。6.根据权利要求5所述的方法，其特征在于，所述基于各所述第一图像中对象的第一姿态，对多个所述第一图像进行聚类处理，得到多个聚类簇，包括：
对每个所述第一姿态进行归一化处理，得到归一化后第一姿态；基于所述...

【专利技术属性】
技术研发人员：姜文韬，金晟，刘文韬，钱晨，刘偲，
申请(专利权)人：深圳市慧鲤科技有限公司，
类型：发明
国别省市：