本公开实施例提供一种图像增强方法和装置、存储介质和电子设备，其中，该方法可以包括：对待增强的目标图像进行特征提取，得到所述目标图像的外观信息，所述目标图像中包括第一对象；所述外观信息表示目标图像中的表面视觉特征；获取第二对象的结构信息，所述第一对象和第二对象为同种类的目标对象；所述结构信息表示所述第二对象的轮廓特征；基于所述外观信息和结构信息生成增强图像，所述增强图像包括所述外观信息、以及具有所述结构信息的目标对象。本公开实施例不仅使得生成的图像质量较高，而且降低了样本获取的成本。而且降低了样本获取的成本。而且降低了样本获取的成本。
【技术实现步骤摘要】
图像增强方法和装置、存储介质和电子设备
[0001]本公开涉及人工智能技术，具体涉及一种图像增强方法和装置、存储介质和电子设备。
技术介绍
[0002]图像增强在多种场景下都有广泛的应用。例如，在训练神经网络的场景中，可以通过对样本图像进行图像增强，得到更多更丰富的样本图像。又例如，还可以通过图像增强，实现一些例如妆容迁移、人脸驱动等人脸图像增强类应用。
[0003]相关技术的图像增强方式，要么是采用传统的拉伸、插值等图像处理的方法进行图像增强，但是这种方式获得的增强图像质量不高，而且通常只能进行有限条件下的图像增强，种类较少。此外，如果用神经网络的方式进行图像增强，该神经网络的训练需要获得足够的样本图像，比如，往往需要单一ID的用户的一定时长的视频，以获得该视频中的该用户的多张人脸图像，这种方式获得训练样本的成本较高，而且对于用户来说也很不方便。
技术实现思路
[0004]本公开实施例至少提供一种图像增强方法和装置、存储介质和电子设备。
[0005]第一方面，提供一种图像增强方法，所述方法包括：
[0006]对待增强的目标图像进行特征提取，得到所述目标图像的外观信息，所述目标图像中包括第一对象；所述外观信息表示目标图像中的表面视觉特征；
[0007]获取第二对象的结构信息，所述第一对象和第二对象为同种类的目标对象；所述结构信息表示所述第二对象的轮廓特征；
[0008]基于所述外观信息和结构信息生成增强图像，所述增强图像包括所述外观信息、以及具有所述结构信息的目标对象。
[0009]在一些例子中，所述方法由图像增强装置执行，所述图像增强装置中部署有图像增强网络，所述图像增强网络包括：外观提取器和生成器；所述对待增强的目标图像进行特征提取，得到所述目标图像的外观信息，包括：通过所述图像增强网络中的外观提取器对待增强的目标图像进行特征提取，得到所述目标图像的外观信息；所述基于所述外观信息和结构信息生成增强图像，包括：通过所述图像增强网络中的生成器基于所述外观信息和结构信息生成增强图像。
[0010]在一些例子中，所述获取第二对象的结构信息，包括：获取初始图像，所述初始图像中包括所述第二对象；对所述初始图像进行关键点检测，得到所述初始图像中第二对象的关键点；根据所述第二对象的关键点，得到所述第二对象的结构信息。
[0011]在一些例子中，所述第二对象包括在辅助图像中；所述方法还包括：获取初始图像，所述初始图像中包括所述目标对象；对所述初始图像进行关键点检测，得到所述初始图像中目标对象的关键点；根据所述目标对象的关键点对所述初始图像进行裁剪，得到包括所述目标对象的所述目标图像或者辅助图像。
[0012]在一些例子中，所述方法还包括：在所述基于所述外观信息和结构信息生成增强图像之后，将所述增强图像替换所述初始图像中的对应图像部分。
[0013]在一些例子中，所述第一对象和第二对象是同一个目标对象，或者是同种类的不同目标对象，所述目标对象是人脸中的五官之一。
[0014]第二方面，提供一种图像增强网络的训练方法，所述方法包括：
[0015]获取待增强的样本图像以及第二对象的结构信息，所述第一对象和第二对象是具有不同结构信息的同一目标对象；所述样本图像中包括第一对象；所述结构信息表示所述第二对象的轮廓特征；
[0016]通过图像增强网络对待增强的样本图像进行特征提取，得到所述样本图像的外观信息,所述外观信息表示目标图像中的表面视觉特征；
[0017]通过所述图像增强网络对所述外观信息和结构信息进行图像生成处理，输出样本增强图像，其中，所述样本增强图像包括所述外观信息、以及具有所述结构信息的所述目标对象；
[0018]根据所述样本增强图像，调整所述图像增强网络的网络参数。
[0019]在一些例子中，所述第二对象包括在辅助图像中；所述根据所述样本增强图像，调整所述图像增强网络的网络参数，包括：根据所述样本增强图像和所述辅助图像之间的差异，调整所述外观提取器和生成器的网络参数。
[0020]在一些例子中，所述第二对象包括在辅助图像中；所述根据所述样本增强图像，调整所述图像增强网络的网络参数，包括：将所述样本增强图像输入所述判别器，得到所述判别器输出的判别值；根据所述判别值与判别真值之间的差异得到第一损失，并根据所述样本增强图像和所述辅助图像之间的差异得到第二损失；根据所述第一损失和第二损失，调整所述外观提取器、生成器和判别器中至少一个的网络参数。
[0021]第三方面，提供一种图像增强装置，所述装置包括：
[0022]外观提取模块，用于对待增强的目标图像进行特征提取，得到所述目标图像的外观信息，所述目标图像中包括第一对象；所述外观信息表示目标图像中的表面视觉特征；
[0023]结构获取模块，用于获取第二对象的结构信息，所述第一对象和第二对象为同种类的目标对象；所述结构信息表示所述第二对象的轮廓特征；
[0024]图像生成模块，用于基于所述外观信息和结构信息生成增强图像，所述增强图像包括所述外观信息、以及具有所述结构信息的目标对象。
[0025]第四方面，提供一种图像增强网络的训练装置，所述装置包括：
[0026]信息获取模块，用于获取待增强的样本图像以及第二对象的结构信息，所述第一对象和第二对象是具有不同结构信息的同一目标对象；所述样本图像中包括第一对象；所述结构信息表示所述第二对象的轮廓特征；
[0027]特征提取模块，用于通过图像增强网络对待增强的样本图像进行特征提取，得到所述样本图像的外观信息,所述外观信息表示目标图像中的表面视觉特征；
[0028]图像输出模块，用于通过所述图像增强网络对所述外观信息和结构信息进行图像生成处理，输出样本增强图像，其中，所述样本增强图像包括所述外观信息、以及具有所述结构信息的所述目标对象；
[0029]参数调整模块，用于根据所述样本增强图像，调整所述图像增强网络的网络参数。
[0030]第五方面，提供一种电子设备，包括：存储器、处理器，所述存储器用于存储计算机可读指令，所述处理器用于调用所述计算机指令，实现本公开任一实施例的方法。
[0031]第六方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开任一实施例的方法。
[0032]本公开实施例提供的图像增强方法和装置、存储介质和电子设备，通过该方法可以依据多种类型的结构信息来增强样本图像，由于结构信息可以多种多样，不受限制，所以能够得到更为丰富的样本增强图像，使得样本的种类更加丰富，当将生成的样本增强图像应用于模型训练等任务时，丰富多样的样本可以提升模型训练的鲁棒性和泛化性，而且通过该方式得到更为丰富的样本种类，相比于之前的样本获取方式，降低了样本获取的成本，样本获取更加简便。另外，该方法是通过图像增强网络来生成样本增强图像，相比于常规的插值、拉伸等图像处理方式，能使得生成的图像质量更高。
附图本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种图像增强方法，其特征在于，所述方法包括：对待增强的目标图像进行特征提取，得到所述目标图像的外观信息，所述目标图像中包括第一对象；所述外观信息表示目标图像中的表面视觉特征；获取第二对象的结构信息，所述第一对象和第二对象为同种类的目标对象；所述结构信息表示所述第二对象的轮廓特征；基于所述外观信息和结构信息生成增强图像，所述增强图像包括所述外观信息、以及具有所述结构信息的目标对象。2.根据权利要求1所述的方法，其特征在于，所述方法由图像增强装置执行，所述图像增强装置中部署有图像增强网络，所述图像增强网络包括：外观提取器和生成器；所述对待增强的目标图像进行特征提取，得到所述目标图像的外观信息，包括：通过所述图像增强网络中的外观提取器对待增强的目标图像进行特征提取，得到所述目标图像的外观信息；所述基于所述外观信息和结构信息生成增强图像，包括：通过所述图像增强网络中的生成器基于所述外观信息和结构信息生成增强图像。3.根据权利要求1所述的方法，其特征在于，所述获取第二对象的结构信息，包括：获取初始图像，所述初始图像中包括所述第二对象；对所述初始图像进行关键点检测，得到所述初始图像中第二对象的关键点；根据所述第二对象的关键点，得到所述第二对象的结构信息。4.根据权利要求1所述的方法，其特征在于，所述第二对象包括在辅助图像中；所述方法还包括：获取初始图像，所述初始图像中包括所述目标对象；对所述初始图像进行关键点检测，得到所述初始图像中目标对象的关键点；根据所述目标对象的关键点对所述初始图像进行裁剪，得到包括所述目标对象的所述目标图像或者所述辅助图像。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：在所述基于所述外观信息和结构信息生成增强图像之后，将所述增强图像替换所述初始图像中的对应图像部分。6.根据权利要求1所述的方法，其特征在于，所述第一对象和第二对象是同一个目标对象，或者是同种类的不同目标对象，所述目标对象是人脸中的五官之一。7.一种图像增强网络的训练方法，其特征在于，所述方法包括：获取待增强的样本图像以及第二对象的结构信息，第一对象和第二对象是具有不同结构信息的同一目标对象；所述样本图像中包括第一对象；所述结构信息表示所述第二对象的轮廓特征；通过图像增强网络对待增强的样本图像进行特征提取，得到所述样本图像的外观信息,所述外观信息表示目标图像中的表面视觉特征；通过所述图像增强网络对所述外观信息和结构信息进行图像生成处理，输出样本增强图像，其中，所述样本增强图像包括所述外观信息、以及具有所述结构信息的所述目标对象；根据所述样本增强...
【专利技术属性】
技术研发人员：唐斯伟，郑程耀，吴文岩，钱晨，
申请(专利权)人：北京大甜绵白糖科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。