一种针对高维数据的生成对抗网络训练方法、系统及电子设备技术方案

本申请涉及一种针对高维数据的生成对抗网络训练方法、系统及电子设备。包括：步骤a：搭建生成对抗网络骨干结构；步骤b：使用张量火车分解算法对所述生成对抗网络骨干结构进行张量火车分解；步骤c：使用真实高维数据训练一个基于张量火车分解的张量自编码器，通过所述张量自编码器输出真实高维数据的空间结构特征；步骤d：将所述张量自编码器的输出和判别器生成的最后一层特征相结合作为最后一层的输入，对生成对抗网络进行训练。本申请使生成对抗网络具备直接生成高维数据的能力，同时减少网络的参数量，使网络的训练更加稳定，并提高生成数据的质量和多样性。

A network training method, system and electronic equipment for generation of high dimensional data

【技术实现步骤摘要】
一种针对高维数据的生成对抗网络训练方法、系统及电子设备
本申请属于生成对抗网络训练
，特别涉及一种针对高维数据的生成对抗网络训练方法、系统及电子设备。
技术介绍
生成对抗网络的主要作用是用一个假的分布通过不断地学习去拟合真实分布，随着深度学习的发展，生成对抗网络可以用于生成类似于真实世界的东西，例如：图片、音乐、文章等。目前，生成对抗网络广泛应用于数据集增强、生成人脸照片、医学图像转换、超分辨率等领域，它的发展潜力十分巨大。申请号“201910287274.6”的专利技术专利中提供了一种生成对抗网络的稳定训练方法，包括：将训练图像输入自编码器中进行处理，得到第一生成图像；基于训练图像与第一生成图像之间的损失值，训练得到预训练的生成器；基于训练图像和经预训练的生成器生成的第二生成图像，对预训练的生成器和判别器进行训练，并基于训练结束时对应的生成器和判别器，得到生成对抗网络。另一申请号“201811461559.9”的专利技术专利中提供了一种生成式对抗网络装置及其训练方法。该生成式对抗网络装置包括生成网络和判别网络。生成网络配置为根据输入数据生成第一样本；判别网络与生成网络耦接，且配置为接收第一样本，并基于第一样本进行训练；生成网络包括第一忆阻器阵列作为第一权重值阵列。该生成式对抗网络装置可以省略对生成网络生成的假样本添加噪声的过程，从而节省训练时间，降低资源消耗，提高生成式对抗网络的训练速度。综上所述，现有的生成对抗网络仍存在以下缺陷：1、难以训练、很不稳定。生成器和判别器之间很难达到一个良好的相互促进的状态，实际训练中，判别器很容易收敛，但生成器很难训练。2、模式崩塌。生成对抗网络在学习中很容易陷入模式崩塌的状态，即生成器总是生成类似的样本，无法继续学习。3、目前的生成对抗网络难以直接生成复杂的高维数据。目前的生成对抗网络较多的是应用于生成图片等维度较低的数据，但应用于生成复杂的高维数据时，以医学影像数据为例，由于医学影像数据转换算法在使用生成对抗网络时往往是以单张切片生成的方式，这样的方式会损失原始数据的结构信息，使生成的数据完整性大打折扣。
技术实现思路
本申请提供了一种针对高维数据的生成对抗网络训练方法、系统及电子设备，旨在至少在一定程度上解决现有技术中的上述技术问题之一。为了解决上述问题，本申请提供了如下技术方案：一种针对高维数据的生成对抗网络训练方法，包括以下步骤：步骤a：搭建生成对抗网络骨干结构；步骤b：使用张量火车分解算法对所述生成对抗网络骨干结构进行张量火车分解；步骤c：使用真实高维数据训练一个基于张量火车分解的张量自编码器，通过所述张量自编码器输出真实高维数据的空间结构特征；步骤d：将所述张量自编码器的输出和判别器生成的最后一层特征相结合作为最后一层的输入，对生成对抗网络进行训练。本申请实施例采取的技术方案还包括：在所述步骤a中，所述生成对抗网络骨干结构为基于3D卷积和3D反卷积的生成对抗网络骨干结构。本申请实施例采取的技术方案还包括：在所述步骤b中，所述使用张量火车分解算法对所述生成对抗网络骨干结构进行张量火车分解具体为：将张量火车分解算法引入所述生成对抗网络骨干结构中所有的3D卷积和3D反卷积层，对所述3D卷积和3D反卷积层进行张量火车分解，得到3D-TT-Conv层、3D-TT-deConv层。本申请实施例采取的技术方案还包括：所述对3D卷积进行张量火车分解具体包括：假设输入三维数据维度为W×H×D，通道数为C，即输入张量：卷积核为：卷积后输出张量：将输出张量的每个元素写为：3D卷积的公式为：将输出张量每个通道的维度表示为：H′＝H-l+1w′＝W-l+1D′＝D-l+1将输入张量转化为W′H′D′×l3C大小的矩阵，对应元素变换为：将卷积核张量转换为大小为l3C×S的矩阵，对应元素变换为：将输入矩阵X和卷积核矩阵K进行矩阵乘法，得到大小为W′H′D′×S的输出矩阵Y，将输出矩阵Y还原为输出张量将张量火车分解应用到卷积核矩阵K：将输入输出维度进行分解：将矩阵K张量化为张量对其进行张量火车分解：上述公式中：将输入张量转化为大小为W×H×D×C1×...×Cd的张量将该张量与卷积核的Tensor-Train矩阵进行运算，得到大小为(W-l+1)×(H-l+1)×S1...×Sd输出张量：本申请实施例采取的技术方案还包括：在所述步骤c中，所述使用真实高维数据训练一个基于张量火车分解的张量自编码器具体为：将张量运算中的n-modeproduct运算引入自编码器中，使用张量运算中的n-modeproduct运算代替全连接层中输入向量和参数矩阵的matrixmultiplication，直接对张量数据的维度进行放大和缩小，提取真实高维数据的空间结构特征。本申请实施例采取的另一技术方案为：一种针对高维数据的生成对抗网络训练系统，包括：网络骨干搭建模块：用于搭建生成对抗网络骨干结构；张量火车分解模块：用于使用张量火车分解算法对所述生成对抗网络骨干结构进行张量火车分解；张量自编码器训练模块：用于使用真实高维数据训练一个基于张量火车分解的张量自编码器，通过所述张量自编码器输出真实高维数据的空间结构特征；网络训练模块：用于将所述张量自编码器的输出和判别器生成的最后一层特征相结合作为最后一层的输入，对生成对抗网络进行训练。本申请实施例采取的技术方案还包括：所述生成对抗网络骨干结构为基于3D卷积和3D反卷积的生成对抗网络骨干结构。本申请实施例采取的技术方案还包括：所述张量火车分解模块使用张量火车分解算法对所述生成对抗网络骨干结构进行张量火车分解具体为：将张量火车分解算法引入所述生成对抗网络骨干结构中所有的3D卷积和3D反卷积层，对所述3D卷积和3D反卷积层进行张量火车分解，得到3D-TT-Conv层、3D-TT-deConv层。本申请实施例采取的技术方案还包括：所述对3D卷积进行张量火车分解具体包括：假设输入三维数据维度为W×H×D，通道数为C，即输入张量：卷积核为：卷积后输出张量：将输出张量的每个元素写为：3D卷积的公式为：将输出张量每个通道的维度表示为：H′＝H-l+1W′＝W-l+1D′＝D-l+1将输入张量转化为W′H′D′×l3C大小的矩阵，对应元素变换为：将卷积核张量转换为大小为l3C×S的矩阵，对应元素变换为：将输入矩阵X和卷积核矩阵K进行矩阵乘法，得到大小为W′H′D′×S的输出矩阵Y，将输出矩阵Y还原为输出张量将张量火车分解应用到卷积核矩阵K：将输入输出维度进行分解：将矩阵K张量化为张量对其进行张量火车分解：上述公式中：将输入张量转化为大小为W本文档来自技高网...

【技术保护点】
1.一种针对高维数据的生成对抗网络训练方法，其特征在于，包括以下步骤：/n步骤a：搭建生成对抗网络骨干结构；/n步骤b：使用张量火车分解算法对所述生成对抗网络骨干结构进行张量火车分解；/n步骤c：使用真实高维数据训练一个基于张量火车分解的张量自编码器，通过所述张量自编码器输出真实高维数据的空间结构特征；/n步骤d：将所述张量自编码器的输出和判别器生成的最后一层特征相结合作为最后一层的输入，对生成对抗网络进行训练。/n

【技术特征摘要】
1.一种针对高维数据的生成对抗网络训练方法，其特征在于，包括以下步骤：
步骤a：搭建生成对抗网络骨干结构；
步骤b：使用张量火车分解算法对所述生成对抗网络骨干结构进行张量火车分解；
步骤c：使用真实高维数据训练一个基于张量火车分解的张量自编码器，通过所述张量自编码器输出真实高维数据的空间结构特征；
步骤d：将所述张量自编码器的输出和判别器生成的最后一层特征相结合作为最后一层的输入，对生成对抗网络进行训练。


2.根据权利要求1所述的针对高维数据的生成对抗网络训练方法，其特征在于，在所述步骤a中，所述生成对抗网络骨干结构为基于3D卷积和3D反卷积的生成对抗网络骨干结构。


3.根据权利要求2所述的针对高维数据的生成对抗网络训练方法，其特征在于，在所述步骤b中，所述使用张量火车分解算法对所述生成对抗网络骨干结构进行张量火车分解具体为：将张量火车分解算法引入所述生成对抗网络骨干结构中所有的3D卷积和3D反卷积层，对所述3D卷积和3D反卷积层进行张量火车分解，得到3D-TT-Conv层、3D-TT-deConv层。


4.根据权利要求3所述的针对高维数据的生成对抗网络训练方法，其特征在于，所述对3D卷积进行张量火车分解具体包括：
假设输入三维数据维度为W×H×D，通道数为C，即输入张量：卷积核为：卷积后输出张量：
将输出张量的每个元素写为：3D卷积的公式为：



将输出张量每个通道的维度表示为：









将输入张量转化为大小的矩阵，对应元素变换为：



将卷积核张量转换为大小为的矩阵，对应元素变换为：



将输入矩阵X和卷积核矩阵K进行矩阵乘法，得到大小为W′H′D′×S的输出矩阵Y，将输出矩阵Y还原为输出张量



将张量火车分解应用到卷积核矩阵K：将输入输出维度进行分解：将矩阵K张量化为张量对其进行张量火车分解：



上述公式中：
将输入张量转化为大小为W×H×D×C1×...×Cd的张量将该张量与卷积核的Tensor-Train矩阵进行运算，得到大小为输出张量：





5.根据权利要求1至4任一项所述的针对高维数据的生成对抗网络训练方法，其特征在于，在所述步骤c中，所述使用真实高维数据训练一个基于张量火车分解的张量自编码器具体为：将张量运算中的n-modeproduct运算引入自编码器中，使用张量运算中的n-modeproduct运算代替全连接层中输入向量和参数矩阵的matrixmultiplication，直接对张量数据的维度进行放大和缩小，提取真实高维数据的空间结构特征。


6.一种针对高维数据的生成对抗网络训练系统，其特征在于，包括：
网络骨干搭建模块：用于搭建生成对抗网络骨干结构；
张量火车分解模块：用于使用张量火车分解算法对所述生成对抗网络骨干结构进行张量火车分解；
张量自编码器训练模块：用于使用真实高维数据训练一个基于张量火车分解的张量自编码器，通过所述张量自编码器输出真实高维数据的空间结...

【专利技术属性】
技术研发人员：周阳，张涌，宁立，王书强，许宜诚，文森特·周，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：广东;44