一种融合自注意力机制的生成对抗网络方法技术

本发明专利技术涉及一种融合自注意力机制的生成对抗网络方法，属于计算机视觉领域，特别是涉及到进行图像生成的生成对抗网络。图像的生成是计算机视觉领域的一项重要挑战，如果能够生成大量的高质量图像样本，在这个依赖大数据背景下的时代，人工智能领域能够得到更迅速的发展。因此，本发明专利技术提出一种融合自注意力机制的生成对抗网络，该网络可以生成高质量的图像，同时图像又具有较高的多样性。具体而言，生成对抗网络对于生成器与判别器分布的评估标准改用Wasserstein距离来衡量，损失函数进行相应的改进；同时在生成器与判别器对应的神经网络架构中均引入自注意力机制，提高生成图像局部像素区域之间的关联性，由此提高生成图像的质量。

A method of generating antagonistic network based on self-attention mechanism

【技术实现步骤摘要】
一种融合自注意力机制的生成对抗网络方法
本专利技术属于计算机视觉领域，涉及一种融合自注意力机制的生成对抗网络方法。
技术介绍
近年来，以神经网络为核心的深度学习技术在计算机视觉领域如日中天，神经网络中的判别式模型已被应用于解决诸如，图像识别、图像分类以及图像的文本描述等基础问题；然而，用于生成图像数据的生成式模型却面临建模过程难度高，生成效果清晰度欠佳等问题，这些原因导致使用生成式模型难以被应用到图像生成领域中去。为解决该问题，把生成式模型与判别式模型结合在一起对图像数据进行对抗式的训练，解决了建模过程困难问题的同时又提高了生成图像数据的质量，这一方案称之为生成对抗网络。最近几年，大数据环境下的深度学习依赖大量的数据进行训练，能够生成大量高质量图像数据的生成对抗网络是必要的。生成对抗网络由生成式神经网络的生成器，与判别式神经网络的判别器两部分组成。其中，判别器的训练目标是通过训练提高其对真实图像的甄别能力，提高对真实图像的分数，降低对生成图像的分数。生成器的训练目标是通过训练，提高生成图像数据的质量，让生成的图像数据能够在判别器中取得更高的分数。生成对抗网络训练过程主要包括两个阶段，第一个阶段对判别器输入图像数据，进行真实图像甄别能力的训练，第二个阶段对生成器进行训练，提高其生成图像数据在判别器中的分数，两个阶段循环进行，当判别器无法对生成器生成的图像数据做出准确的判断时，我们认定生成对抗网络的训练达到了稳态平衡。早先的生成对抗网络技术存在模式坍塌问题，样本模式单一缺乏多样性。详细来说，生成对抗网络通过对抗式的训练将生成器生成图像的数据分布向真实图像的数据分布拉拢，而真实图像的数据分布难以获得，则通过使用真实图像数据训练判别器得到接近真实的图像数据分布，原始生成对抗网络技术描述两种图像数据分布之间的距离的标准为交叉熵即JS散度，当两者分布在训练初期不存在相交时，采用JS散度的训练结果较差，不能够为生成器的训练提供有效的梯度从而导致模式坍塌。除此之外，早先不可控的生成对抗网络难以生成像素清晰的图像，究其原因是其网络架构中只包涵卷积层，不能得到整张图像中局部像素区域之间的关系，因而生成的图像有着完整的图像轮廓但清晰度不高且细节缺失。继续一种包含了新的数据分布距离评估标准以及提高生成图像清晰度机制的生成对抗网络方案。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种融合自注意力机制的生成对抗网络方法。为达到上述目的，本专利技术提供如下技术方案：一种融合自注意力机制的生成对抗网络方法，该方法包括以下步骤：S1：对于评估生成器与判别器数据分布之间差异的标准进行了替换，使用Wasserstein距离对两者数据分布之间的差异进行评估；评估标准改用Wasserstein距离后，损失函数也进行改进，最终能够提高生成图像数据的多样性；S2：在融合了自注意力机制的生成对抗网络在其生成器与判别器对应的神经网络架构中均引入自注意力机制；S3：在融合了自注意力机制的生成对抗网络中，运行自注意力机制。进一步，所述步骤S2中，数据的训练过程包括4个阶段：阶段1，使用Wasserstein距离评估生成器与判别器数据分布之间的差异，损失函数进行相应的改变，将训练集的图像数据分为若干批次，依次输入判别器中进行训练；阶段2，一轮数据训练结束后，使用Adam优化方法依照损失函数值计算结果，生成器G的权重保持不变，进行判别器D的权重更新；阶段3，采样若干随机噪音变量，依照损失函数进行生成器G中的权重更新；阶段4，在生成器中G的权重θ趋于收敛之前，循环阶段1～阶段3的过程，训练结束后生成器与判别器达到稳态的纳什均衡，此时生成器具备生成高质量图像数据的能力。进一步，所述S3具体包括步骤：S31：输入的特征图进行特征空间的转换，同一张特征图被分别转换至两个特定的映射空间中，同时保留原特征图；来自上一隐层的特征图x∈RC×N首先被转换到两个特定的特征空间f与g中以计算注意力值，其中f(x)＝Wfx,g(x)＝Wgx；S32：按照自注意力计算公式对转换特征空间后特征图的每一个像素点进行注意力值计算，最终结果进行加权求和得到一张对应的注意力特征图，计算公式如下：且sij＝f(xi)Tg(xj)，且h(xi)＝Whxi，βj,i值代表生成区域第j个区域时，模型对第i个区域的注意力程度，这一步骤得到的注意力特征图为o＝(o1,o2,o3,...,oN)∈RC×N；S33：将注意力特征图与原特征图累加得到自注意力特征图，yi＝γoi+xi，其中y为自注意力层的最终输出，γ初始化为0；上述计算中，Wh∈RC×C均为可学习的权重矩阵，通过1×1的卷积运算实现，其中本专利技术的有益效果在于：本专利技术对输入数据集进行训练最终生成相应高质量的图像。数据集中的图像均被裁剪为同样尺寸，若干张图像为一批在训练过程的对应阶段输入生成对抗网络中的生成器与判别器中进行训练，当判别器的损失函数值趋于平衡时则终止训练。最终得到的生成器即可进行高质量图像生成，可以改善模式坍塌问题同时提高图像细节的清晰度。本专利技术的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本专利技术的实践中得到教导。本专利技术的目标和其他优点可以通过下面的说明书来实现和获得。附图说明为了使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作优选的详细描述，其中：图1为融合了自注意力机制的生成器G框图；图2为融合了自注意力机制的判别器D框图；图3为自注意力机制的系统框图。具体实施方式以下通过特定的具体实例说明本专利技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本专利技术的其他优点与功效。本专利技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本专利技术的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本专利技术的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利技术的限制；为了更好地说明本专利技术的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。本专利技术实施例的附图中相同或相似的标号对应相同或相似的部件；在本专利技术的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利技术的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。在介绍方案内容之前，先陈述专利技术中7个必要的概念。第1个概念：数据分布，即图像数据的概率分布。由于真实的图像数据概率分布难以获得，在深度学习中常把训练数据集所具有的样本分布近似为真实的数据分布，因而训练数据集中的数据样本不能太少，且需要具有代表性。第2个概念：神经网络，本专利技术中均为卷积神经网本文档来自技高网...

【技术保护点】
1.一种融合自注意力机制的生成对抗网络方法，其特征在于：该方法包括以下步骤：S1：对于评估生成器与判别器数据分布之间差异的标准进行了替换，使用Wasserstein距离对两者数据分布之间的差异进行评估；评估标准改用Wasserstein距离后，损失函数也进行改进，最终能够提高生成图像数据的多样性；S2：在融合了自注意力机制的生成对抗网络在其生成器与判别器对应的神经网络架构中均引入自注意力机制；S3：在融合了自注意力机制的生成对抗网络中，运行自注意力机制。

【技术特征摘要】
1.一种融合自注意力机制的生成对抗网络方法，其特征在于：该方法包括以下步骤：S1：对于评估生成器与判别器数据分布之间差异的标准进行了替换，使用Wasserstein距离对两者数据分布之间的差异进行评估；评估标准改用Wasserstein距离后，损失函数也进行改进，最终能够提高生成图像数据的多样性；S2：在融合了自注意力机制的生成对抗网络在其生成器与判别器对应的神经网络架构中均引入自注意力机制；S3：在融合了自注意力机制的生成对抗网络中，运行自注意力机制。2.根据权利要求1所述的一种融合自注意力机制的生成对抗网络方法，其特征在于：所述步骤S2中，数据的训练过程包括4个阶段：阶段1，使用Wasserstein距离评估生成器与判别器数据分布之间的差异，损失函数进行相应的改变，将训练集的图像数据分为若干批次，依次输入判别器中进行训练；阶段2，一轮数据训练结束后，使用Adam优化方法依照损失函数值计算结果，生成器G的权重保持不变，进行判别器D的权重更新；阶段3，采样若干随机噪音变量，依照损失函数进行生成器G中的权重更新；阶段4，在生成器中G的权重θ趋于收敛之前，循环阶段...

【专利技术属性】
技术研发人员：黄宏宇，谷子丰，
申请(专利权)人：重庆大学，
类型：发明
国别省市：重庆,50