对抗生成网络的训练方法及其图像处理方法、装置制造方法及图纸

本申请提供了一种用于图像处理的对抗生成网络的训练方法及其图像处理方法、装置、电子设备及计算机可读存储介质；方法包括：通过生成对抗网络中的生成器对第一待重建图像执行图像处理任务，以得到向第一标准图像拟合而生成的第一重建图像，第一标准图像与第一待重建图像均包括第一对象；通过生成对抗网络中的判别器对第一重建图像进行分类处理，以得到生成损失值；基于第一重建图像的语义特征与第一标准图像的语义特征确定第一语义特征损失值，并基于第一重建图像的属性特征与第一待重建图像的属性特征确定第一属性特征损失值；融合生成损失值、第一语义特征损失值和第一属性特征损失值，以训练生成器。通过本申请，能够高效精确地重建图像。

【技术实现步骤摘要】
对抗生成网络的训练方法及其图像处理方法、装置
本申请涉及图像处理技术，尤其涉及一种用于图像处理的对抗生成网络的训练方法及其图像处理方法、装置、电子设备及计算机可读存储介质。
技术介绍
人工智能(AI，ArtificialIntelligence)是计算机科学的一个综合技术，通过研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，例如自然语言处理技术以及机器学习/深度学习等几大方向，随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。图像处理是人工智能的重要应用。典型地，可通过各种神经网络模型对图像进行处理，如背景替换、局部颜色替换、遮挡去除和空白区域补充等处理，以得到处理后的重建图像。然而，相关技术在训练用于图像处理的神经网络模型时，经常出现神经网络模型学习非变换区域的变化的情况，使得应用神经网络模型进行图像识别时，重建图像中非变换区域发生变化，难以保证重建图像的精确性。
技术实现思路
本申请实施例提供一种用于图像处理的对抗生成网络的训练方法及其图像处理方法、装置、电子设备及计算机可读存储介质，能够高效精确地重建图像。本申请实施例的技术方案是这样实现的：本申请实施例提供一种用于图像处理的对抗生成网络的训练方法，包括：通过生成对抗网络中的生成器对第一待重建图像执行图像处理任务，以得到向第一标准图像拟合而生成的第一重建图像，所述第一标准图像与所述第一待重建图像均包括第一对象；通过所述生成对抗网络中的判别器对所述第一重建图像进行分类处理，以得到生成损失值；基于所述第一重建图像的语义特征与所述第一标准图像的语义特征确定第一语义特征损失值，并基于所述第一重建图像的属性特征与所述第一待重建图像的属性特征确定第一属性特征损失值；融合所述生成损失值、所述第一语义特征损失值和所述第一属性特征损失值，以训练所述生成器。本申请实施例提供一种用于图像处理的对抗生成网络的训练装置，包括：第一图像处理模块，用于通过生成对抗网络中的生成器对第一待重建图像执行图像处理任务，以得到向第一标准图像拟合而生成的第一重建图像，所述第一标准图像与所述第一待重建图像均包括第一对象；分类处理模块，用于通过所述生成对抗网络中的判别器对所述第一重建图像进行分类处理，以得到生成损失值；确定模块，用于基于所述第一重建图像的语义特征与所述第一标准图像的语义特征确定第一语义特征损失值，并基于所述第一重建图像的属性特征与所述第一待重建图像的属性特征确定第一属性特征损失值；训练模块，用于融合所述生成损失值、所述第一语义特征损失值和所述第一属性特征损失值，以训练所述生成器。上述方案中，所述分类处理模块，还用于：通过所述生成对抗网络中预训练的判别器对所述第一重建图像进行分类处理，以得到所述第一重建图像属于标准图像类型的第一预测概率；基于所述第一预测概率得到所述第一重建图像不属于所述标准图像类型的第一非标准概率；对所述第一非标准概率进行指数运算或对数运算，并将运算结果作为所述生成器的生成损失值。上述方案中，所述确定模块，还用于：通过预训练的语义识别模型提取所述第一重建图像的第一语义特征，并提取所述第一标准图像的第二语义特征；确定所述第一语义特征与所述第二语义特征之间的第一距离，并确定与所述第一距离正相关的第一语义特征损失值。上述方案中，所述语义特征损失值是通过所述语义识别模型的语义识别损失函数确定的；所述确定模块，还用于：将所述第一语义特征与所述第二语义特征代入所述语义识别损失函数，以确定所述第一语义特征与所述第二语义特征在各个维度上的距离，并将所述各个维度上的距离进行融合，将融合结果作为所述第一语义特征损失值。上述方案中，所述确定模块，还用于：通过预训练的属性识别模型提取所述第一重建图像的属性特征；确定所述第一重建图像的属性特征与所述第一待重建图像的属性特征之间的第二距离，并确定与所述第二距离正相关的第一属性特征损失值。上述方案中，所述第一属性特征损失值是通过所述属性识别模型的属性识别损失函数确定的；所述确定模块，还用于：将所述第一重建图像的属性特征与所述第一待重建图像的属性特征代入所述属性识别损失函数，以通过所述属性识别损失函数将所述第一重建图像的属性特征、所述第一待重建图像的属性特征、单位向量与所述第一重建图像的属性特征的差值以及所述单位向量与所述第一待重建图像的属性特征的差值进行融合，将融合结果作为所述第一属性特征损失值。上述方案中，所述生成损失值是通过所述生成器和所述判别器之间的第一对抗损失函数确定的，所述第一语义特征损失值是通过语义识别模型的语义识别损失函数确定的，所述第一属性特征损失值是通过属性识别模型的属性识别损失函数确定的；所述训练模块，还用于：对所述第一对抗损失函数、所述语义识别损失函数以及所述属性识别损失函数进行加权求和，得到总损失函数；对所述生成损失值、所述第一语义特征损失值和所述第一属性特征损失值进行加权求和，得到总损失值；基于所述总损失函数在所述生成器中反向传播所述总损失值，以确定所述生成器的梯度，根据所述梯度更新所述生成器的参数。上述方案中，所述训练模块，还用于：通过所述生成器对第二待重建图像执行所述图像处理任务，以得到向第二标准图像拟合而生成的第二重建图像，所述第二标准图像与所述第二待重建图像均包括第二对象；通过所述判别器对所述第二重建图像和所述第三标准图像分别进行分类处理，以得到判别损失值；基于所述第二重建图像的语义特征与所述第二标准图像的语义特征确定第二语义特征损失值，并基于所述第二重建图像的属性特征与所述第二待重建图像的属性特征确定第二属性特征损失值；融合所述判别损失值、所述第二语义特征损失值和所述第二属性特征损失值，以训练所述判别器。上述方案中，所述训练模块，还用于：通过所述判别器对所述第二重建图像进行分类处理，以得到所述第二重建图像属于标准图像类型的第二预测概率，并通过所述判别器对所述第三标准图像进行分类处理，以得到所述第三标准图像属于所述标准图像类型的第三预测概率；将所述第二预测概率与所述第三预测概率进行融合，并将融合结果作为所述判别损失值。上述方案中，所述判别损失值是通过所述生成器和所述判别器之间的第二对抗损失函数确定的；所述训练模块，还用于：将所述第二预测概率代入所述第二对抗损失函数，以通过所述第二对抗损失函数确定所述第二重建图像不属于所述标准图像类型的第二非标准概率，将所述第二非标准概率与所述第三预测概率基于指数算子或对数算子进行融合，将融合结果作为所述判别损失值。上述方案中，当图像处理任务的类型为遮挡去除时，所述第一待重建图像包括脸部被遮挡的所述第一对象，所述第一标准图像包括脸部未被遮挡的所述第一对象，所述第一重建图像包括本文档来自技高网...

【技术保护点】
1.一种用于图像处理的对抗生成网络的训练方法，其特征在于，所述方法包括：/n通过生成对抗网络中的生成器对第一待重建图像执行图像处理任务，以得到向第一标准图像拟合而生成的第一重建图像，所述第一标准图像与所述第一待重建图像均包括第一对象；/n通过所述生成对抗网络中的判别器对所述第一重建图像进行分类处理，以得到生成损失值；/n基于所述第一重建图像的语义特征与所述第一标准图像的语义特征确定第一语义特征损失值，并基于所述第一重建图像的属性特征与所述第一待重建图像的属性特征确定第一属性特征损失值；/n融合所述生成损失值、所述第一语义特征损失值和所述第一属性特征损失值，以训练所述生成器。/n

【技术特征摘要】
1.一种用于图像处理的对抗生成网络的训练方法，其特征在于，所述方法包括：
通过生成对抗网络中的生成器对第一待重建图像执行图像处理任务，以得到向第一标准图像拟合而生成的第一重建图像，所述第一标准图像与所述第一待重建图像均包括第一对象；
通过所述生成对抗网络中的判别器对所述第一重建图像进行分类处理，以得到生成损失值；
基于所述第一重建图像的语义特征与所述第一标准图像的语义特征确定第一语义特征损失值，并基于所述第一重建图像的属性特征与所述第一待重建图像的属性特征确定第一属性特征损失值；
融合所述生成损失值、所述第一语义特征损失值和所述第一属性特征损失值，以训练所述生成器。


2.根据权利要求1所述的方法，其特征在于，所述通过所述生成对抗网络中的判别器对所述第一重建图像进行分类处理，以得到生成损失值，包括：
通过所述生成对抗网络中预训练的判别器对所述第一重建图像进行分类处理，以得到所述第一重建图像属于标准图像类型的第一预测概率；
基于所述第一预测概率得到所述第一重建图像不属于所述标准图像类型的第一非标准概率；
对所述第一非标准概率进行指数运算或对数运算，并将运算结果作为所述生成器的生成损失值。


3.根据权利要求1所述的方法，其特征在于，所述基于所述第一重建图像的语义特征与所述第一标准图像的语义特征确定第一语义特征损失值，包括：
通过预训练的语义识别模型提取所述第一重建图像的第一语义特征，并提取所述第一标准图像的第二语义特征；
确定所述第一语义特征与所述第二语义特征之间的第一距离，并确定与所述第一距离正相关的第一语义特征损失值。


4.根据权利要求3所述的方法，其特征在于，所述第一语义特征损失值是通过所述语义识别模型的语义识别损失函数确定的；所述确定所述第一语义特征与所述第二语义特征之间的第一距离，并确定与所述第一距离正相关的第一语义特征损失值，包括：
将所述第一语义特征与所述第二语义特征代入所述语义识别损失函数，以确定所述第一语义特征与所述第二语义特征在各个维度上的距离，并将所述各个维度上的距离进行融合，将融合结果作为所述第一语义特征损失值。


5.根据权利要求1所述的方法，其特征在于，所述基于所述第一重建图像的属性特征与所述第一待重建图像的属性特征确定第一属性特征损失值，包括：
通过预训练的属性识别模型提取所述第一重建图像的属性特征；
确定所述第一重建图像的属性特征与所述第一待重建图像的属性特征之间的第二距离，并确定与所述第二距离正相关的第一属性特征损失值。


6.根据权利要求5所述的方法，其特征在于，所述第一属性特征损失值是通过所述属性识别模型的属性识别损失函数确定的；所述确定所述第一重建图像的属性特征与所述第一待重建图像的属性特征之间的第二距离，并确定与所述第二距离正相关的第一属性特征损失值，包括：
将所述第一重建图像的属性特征与所述第一待重建图像的属性特征代入所述属性识别损失函数，以
通过所述属性识别损失函数将所述第一重建图像的属性特征、所述第一待重建图像的属性特征、单位向量与所述第一重建图像的属性特征的差值以及所述单位向量与所述第一待重建图像的属性特征的差值进行融合，将融合结果作为所述第一属性特征损失值。


7.根据权利要求1所述的方法，其特征在于，所述生成损失值是通过所述生成器和所述判别器之间的第一对抗损失函数确定的，所述第一语义特征损失值是通过语义识别模型的语义识别损失函数确定的，所述第一属性特征损失值是通过属性识别模型的属性识别损失函数确定的；
所述融合所述生成损失值、所述第一语义特征损失值和所述第一属性特征损失值，以训练所述生成器，包括：
对所述第一对抗损失函数、所述语义识别损失函数以及所述属性识别损失函数进行加权求和，得到总损失函数；
对所述生成损失值、所述第一语义特征损失值和所述第一属性特征损失值进行加权求和，得到总损失值；
基于所述总损失函数在所述生成器中反向传播所述总损失值，以确定所述生成器的梯度，根据所述梯度更新所述生成器的参数。


8.根据权利要求1所述的方法，其特征在于，在训练所述生成器之前，所述方法还包括：
通过所述生成器对第二待重建图像执行所述图像处理任务，以得到向第二标准图像拟合而生成的第二重建图像，所述第二标准图像与所述第二待重建图像均包括第二对象；
通过所述判别器对所述第二重建图像和所述第三标准图像分别进行分类处理，以得到判别损失值；
基于所述第二重建图像的语义特征与所述第二标准图像的语义特征确定第二语义特征损失值，并基于所述第二重建图像的属性特征与所述第二待重建图像的属性特征确定第二属性特征损失值；
融合所述判别损失值、所述第二语义特征损失值和所述第二属性特征损失值，以训练所述判别器。


9.根据权利要求8所述...

【专利技术属性】
技术研发人员：朱振文，吴泽衡，谭圣琦，周古月，徐倩，杨强，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：广东;44