一种图像增强方法、装置、介质及设备制造方法及图纸

本发明专利技术提出了一种图像增强方法、装置、介质及设备。所述方法包括：将待增强图像作为已训练的图像增强模型的输入，已训练的图像增强模型用于对待增强图像进行增强，已训练的图像增强模型是基于第一生成网络、第二生成网络、第三生成网络、第四生成网络、第一判别网络和第二判别网络训练得到的，已训练的图像增强模型为训练完成的第一生成网络；获取已训练的图像增强模型输出的目标增强图像；其中，第一生成网络的输出分别为第二生成网络的输入和第二判别网络的输入；第三生成网络的输出分别为第四生成网络的输入和第一判别网络的输入。本发明专利技术在保留想要的目标对象的特征情况下，使图像中目标对象与背景边界更融洽，并且操作简单。

【技术实现步骤摘要】
一种图像增强方法、装置、介质及设备
本专利技术涉及图像处理
，尤其涉及一种图像增强方法、装置、介质及设备。
技术介绍
日常经常需要用到证件照，随着带拍照功能的设备的普及，很多人喜欢自行拍摄照片后采用做图软件处理出证件照。在做图软件中通过依次执行选择抠图、选择抠图方式、选择删除和保留区域、生成透明底层图片操作后，再选择填充底色进行证件照更换背景颜色操作。在证件照背景颜色与目标物颜色比较接近、深色头发中存在白头发、披肩发蓬松情况下采用自动抠图效果不好，针对图片中颜色比较乱且区分不明显的情况下只能采用手动抠图，比较耗时，而且背景与目标物不太融洽。因此，提出一种避免图像中目标对象与背景边界不太融洽的图像增强方法显得尤为重要。
技术实现思路
基于此，有必要针对上述问题，提出了一种图像增强方法、装置、介质及设备。第一方面，本专利技术提出了一种图像增强方法，所述方法包括：获取待增强图像；将所述待增强图像作为已训练的图像增强模型的输入，所述已训练的图像增强模型用于对所述待增强图像进行增强，所述已训练的图像增强模型是基于第一生成网络、第二生成网络、第三生成网络、第四生成网络、第一判别网络和第二判别网络训练得到的，所述已训练的图像增强模型为训练完成的第一生成网络；获取所述已训练的图像增强模型输出的目标增强图像；其中，所述第一生成网络的输出分别为所述第二生成网络的输入和第二判别网络的输入，所述第二生成网络用于对所述第一生成网络的输出进行还原，所述第二判别网络用于对所述第一生成网络的输出进行判断识别，所述第一生成网络和所述第二判别网络为对抗性训练网络；所述第三生成网络的输出分别为所述第四生成网络的输入和第一判别网络的输入，所述第四生成网络用于对所述第三生成网络的输出进行还原，所述第一判别网络用于对所述第三生成网络的输出进行判断识别，所述第三生成网络和所述第一判别网络为对抗性训练网络。第二方面，本专利技术还提出了一种图像增强装置，所述装置包括：图像增强模块，用于获取待增强图像，将所述待增强图像作为已训练的图像增强模型的输入，所述已训练的图像增强模型用于对所述待增强图像进行增强，所述已训练的图像增强模型是基于第一生成网络、第二生成网络、第三生成网络、第四生成网络、第一判别网络和第二判别网络训练得到的，所述已训练的图像增强模型为训练完成的第一生成网络；获取所述已训练的图像增强模型输出的目标增强图像，其中，所述第一生成网络的输出分别为所述第二生成网络的输入和第二判别网络的输入，所述第二生成网络用于对所述第一生成网络的输出进行还原，所述第二判别网络用于对所述第一生成网络的输出进行判断识别，所述第一生成网络和所述第二判别网络为对抗性训练网络，所述第三生成网络的输出分别为所述第四生成网络的输入和第一判别网络的输入，所述第四生成网络用于对所述第三生成网络的输出进行还原，所述第一判别网络用于对所述第三生成网络的输出进行判断识别，所述第三生成网络和所述第一判别网络为对抗性训练网络。第三方面，本专利技术还提出了一种存储介质，存储有计算机指令程序，所述计算机指令程序被处理器执行时，使得所述处理器执行第一方面任一项所述方法的步骤。第四方面，本专利技术还提出了一种计算机设备，包括至少一个存储器、至少一个处理器，所述存储器存储有计算机指令程序，所述计算机指令程序被所述处理器执行时，使得所述处理器执行第一方面任一项所述方法的步骤。综上所述，本专利技术的图像增强方法通过第一生成网络、第二生成网络、第三生成网络、第四生成网络、第一判别网络和第二判别网络的非监督学习训练出图像增强模型，只需要少量的样本进行学习即可学到训练样本的共同特征，泛化能力好；所述第一生成网络的输出分别为所述第二生成网络的输入和第二判别网络的输入实现了待增强图像到目标增强图像的学习，所述第三生成网络的输出分别为所述第四生成网络的输入和第一判别网络的输入实现了目标增强图像到待增强图像的学习，通过学习在保留想要的目标对象的特征情况下，避免图像中目标对象与背景边界不太融洽；只需要把待增强图像输入所述已训练的图像增强模型即可得到目标增强图像，相对做图软件抠图处理，操作简单。因此，本专利技术在保留想要的目标对象的特征情况下，使图像中目标对象与背景边界更融洽，并且操作简单。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：图1为一个实施例中图像增强方法的流程图；图2为图1中图像增强方法的训练图像增强模型的流程图；图3为一个实施例中第一判别网络的结构示意图；图4为一个实施例中第一生成网络的结构示意图；图5为一个实施例中特征提取子网的结构示意图；图6为一个实施例中特征还原子网的结构示意图；图7为图1中图像增强方法的特征嵌入子网的工作流程图；图8为图7中特征嵌入子网的确定待融合目标特征图像的流程图；图9为图1中图像增强方法的梯度下降优化方法的流程图；图10为一个实施例中图像增强装置的结构框图；图11为一个实施例中计算机设备的结构框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示，在一个实施例中，提出了一种图像增强方法，所述方法包括：S102、获取待增强图像；其中，所述待增强图像可以是需要增强的人物证件照，也可以是是其他图像，比如，可以是动物图像、植物图像，在此举例不作具体限定。所述待增强图像可以包括在不同场景、不同时间段、不同天气等采集的图像，在此不作具体限定。S104、将所述待增强图像作为已训练的图像增强模型的输入，所述已训练的图像增强模型用于对所述待增强图像进行增强，所述已训练的图像增强模型是基于第一生成网络、第二生成网络、第三生成网络、第四生成网络、第一判别网络和第二判别网络训练得到的，所述已训练的图像增强模型为训练完成的第一生成网络；具体而言，当所述待增强图像为人物证件照人脸图像时，采用人物证件图像训练出的图像增强模型作为所述已训练的图像增强模型；当所述待增强图像为动物图像时，采用对应的动物图像训练出的图像增强模型作为所述已训练的图像增强模型；当所述待增强图像为植物图像时，采用对应的植物图像训练出的图像增强模型作为所述已训练的图像增强模型。可以理解的是，采用同一类目标对象的图像训练出的图像增强模型用于增强同一类目标对象的图像，增强效果将更准确，比如，采用黑色人脸图像训练出的图像增强模型增强黑色人脸图像增强效果将更准确；采用猴子本文档来自技高网...

【技术保护点】
1.一种图像增强方法，所述方法包括：/n获取待增强图像；/n将所述待增强图像作为已训练的图像增强模型的输入，所述已训练的图像增强模型用于对所述待增强图像进行增强，所述已训练的图像增强模型是基于第一生成网络、第二生成网络、第三生成网络、第四生成网络、第一判别网络和第二判别网络训练得到的，所述已训练的图像增强模型为训练完成的第一生成网络；/n获取所述已训练的图像增强模型输出的目标增强图像；/n其中，所述第一生成网络的输出分别为所述第二生成网络的输入和第二判别网络的输入，所述第二生成网络用于对所述第一生成网络的输出进行还原，所述第二判别网络用于对所述第一生成网络的输出进行判断识别，所述第一生成网络和所述第二判别网络为对抗性训练网络；/n所述第三生成网络的输出分别为所述第四生成网络的输入和第一判别网络的输入，所述第四生成网络用于对所述第三生成网络的输出进行还原，所述第一判别网络用于对所述第三生成网络的输出进行判断识别，所述第三生成网络和所述第一判别网络为对抗性训练网络。/n

【技术特征摘要】
1.一种图像增强方法，所述方法包括：
获取待增强图像；
将所述待增强图像作为已训练的图像增强模型的输入，所述已训练的图像增强模型用于对所述待增强图像进行增强，所述已训练的图像增强模型是基于第一生成网络、第二生成网络、第三生成网络、第四生成网络、第一判别网络和第二判别网络训练得到的，所述已训练的图像增强模型为训练完成的第一生成网络；
获取所述已训练的图像增强模型输出的目标增强图像；
其中，所述第一生成网络的输出分别为所述第二生成网络的输入和第二判别网络的输入，所述第二生成网络用于对所述第一生成网络的输出进行还原，所述第二判别网络用于对所述第一生成网络的输出进行判断识别，所述第一生成网络和所述第二判别网络为对抗性训练网络；
所述第三生成网络的输出分别为所述第四生成网络的输入和第一判别网络的输入，所述第四生成网络用于对所述第三生成网络的输出进行还原，所述第一判别网络用于对所述第三生成网络的输出进行判断识别，所述第三生成网络和所述第一判别网络为对抗性训练网络。


2.根据权利要求1所述的方法，其特征在于，所述已训练的图像增强模型采用如下方式训练得到：
获取多个图像对，所述图像对中包括源图像、目标图像，所述源图像为待增强图像，目标图像为目标增强图像；
将所述源图像输入第一生成网络得到第一源图像生成数据，将所述第一源图像生成数据输入第二生成网络得到第二源图像生成数据，将所述目标图像输入第三生成网络得到第一目标图像生成数据，将所述第一目标图像生成数据输入第四生成网络得到第二目标图像生成数据，所述第一生成网络、所述第二生成网络、所述第三生成网络、所述第四生成网络采用相同结构的图像生成网络；
将所述源图像输入第一判别网络得到第一源图像期望数据，将所述第一源图像生成数据输入第二判别网络得到第二源图像期望数据，将所述目标图像输入第二判别网络得到第一目标图像期望数据，将所述第一目标图像生成数据输入第一判别网络得到第二目标图像期望数据，所述第一判别网络、所述第二判别网络采用相同结构的图像判别网络且包括多个基础块、全连接层；
根据所述第一源图像期望数据、所述第二源图像期望数据、所述第一目标图像期望数据、所述第二目标图像期望数据、所述第一源图像生成数据、所述第二源图像生成数据、所述第一目标图像生成数据、所述第二目标图像生成数据采用梯度下降优化方法进行训练，得到已训练的图像增强模型。


3.根据权利要求2所述的方法，其特征在于，所述第一判别网络包括依次相连的输入层、第一基础块、第二基础块、第三基础块、第四基础块、第五基础块、第六基础块、全连接层；
所述第一基础块包括第一基础卷积层、第一激活层、第一正则化层，所述第一基础卷积层采用3×3卷积核、对称填充、步长为2、通道数为16，所述第一激活层采用LRelu激活函数，所述第一正则化层用于对单个输入图像进行正则化；
所述第二基础块包括第二基础卷积层、第二激活层、第二正则化层，所述第二基础卷积层采用3×3卷积核、不填充、步长为2、通道数为32，所述第二激活层采用LRelu激活函数，所述第二正则化层用于对单个输入图像进行正则化；
所述第三基础块包括第三基础卷积层、第三激活层、第三正则化层，所述第三基础卷积层采用3×3卷积核、不填充、步长为2、通道数为64，所述第三激活层采用LRelu激活函数，所述第三正则化层用于对单个输入图像进行正则化；
所述第四基础块包括第四基础卷积层、第四激活层、第四正则化层，所述第四基础卷积层采用3×3卷积核、不填充、步长为2、通道数为128，所述第四激活层采用LRelu激活函数，所述第四正则化层用于对单个输入图像进行正则化；
所述第五基础块包括第五基础卷积层、第五激活层、第五正则化层，所述第五基础卷积层采用3×3卷积核、不填充、步长为2、通道数为128，所述第五激活层采用LRelu激活函数，所述第五正则化层用于对单个输入图像进行正则化；
所述第六基础块包括第六基础卷积层、第六激活层、第六正则化层，所述第六基础卷积层采用3×3卷积核、不填充、步长为2、通道数为128，所述第六激活层采用LRelu激活函数，所述第六正则化层用于对单个输入图像进行正则化。


4.根据权利要求2所述的方法，其特征在于，所述获取多个图像对，还包括：采集源图像，所述源图像为人物证件照，根据所述源图像进行增强处理生成与源图像对应的目标图像，所述增强处理包括保留想要的目标对象的特征的标准化处理。


5.根据权利要求2所述的方法，其特征在于，所述第一生成网络包括特征提取子网、特征还原子网、特征嵌入子网；
所述特征提取子网用于对所述源图像进行提取得到表层特征，对所述表层特征进行压缩得到第一特征图像，所述表层特征包括轮廓；
所述特征还原子网用于把所述第一特征图像进行放大还原得到第二特征图像；
所述特征嵌入子网用于把所述第一特征图像、所述第二特征图像、所述源图像进行融合处理得到第一源图像生成数据。


6.根据权利要求5所述的方法，其特征在于，所述特征提取子网包括依次相连的多个第一卷积块；
所述第一卷积块包括依次相连的第七卷积层、第七激活层、第一分批归一化层；
所述第七卷积层采用3×3卷积核或5×5卷积核，且采用对称填充；
所述第七激活层采用selu激活函数。


7.根据权利要求5所述的方法，其特征在于，所述特征还原子网包括依次相连的多个第二卷积块、一个第三卷积块；
所述第二卷积块包括依次相连的第八卷积层、第八激活层、第二分批归一化层，所述第八卷积层采用3×3卷积核且采用对称填充，所述第八激活层采用selu激活函数；
所述第三卷积块包括第九卷积层、第九激活层、第一单元卷积层，所述第九卷积层包括采用8×8卷积核、步长为1、采用对称填充，所述第九激活层采用selu激活函数，所述第一单元卷积层包括采用1×1卷积核、步长为1、不进行填充。


8.根据权利要求5所...

【专利技术属性】
技术研发人员：高亚南，
申请(专利权)人：深圳市雄帝科技股份有限公司，
类型：发明
国别省市：广东;44