一种用于互联网检测中基于对抗生成网络的检测样本生成系统及办法技术方案

本发明专利技术涉及一种用于互联网检测中基于对抗生成网络的检测样本生成系统及方法，数据读取及初始化模块，用于从非常规数据集中读取所有数据，并读取每条图片数据所对应的控制条件因素的标签；并读取基线图片数据，基线图片数据都是在严格控制条件因素下拍摄完成，使得它们在每个域的域标签值均为零；模型构建模块根据非常规数据集以及对应的控制条件因素的标签、基线图片数据构建生成器模型G和判别器模型D；模型训练模块对判别器D及生成器G进行训练最终得到对抗生成网络模型，对抗生成网络模型对任意的基线数据集图片，给定想要生成图片在各域上的值，将其输入至生成器G，便能生成对应的图片；该生生成系统可以简易、快速地用于生成数据样本。

A Detection Sample Generation System and Method Based on Countermeasure Generation Network for Internet Detection

The invention relates to a detection sample generation system and method based on antagonistic generation network for Internet detection, a data reading and initialization module, which is used to read all data from unconventional data sets and read the label of control condition factors corresponding to each picture data, and read the baseline picture data, the baseline picture data are taken under strict control condition factors. The model building module builds generator model G and discriminator model D based on unconventional data sets and corresponding control condition factors'labels and baseline picture data. The model training module trains discriminator D and generator G, and finally obtains the antagonistic generating network model, which antagonizes the generated network model to any baseline. Data set pictures, given the values of the pictures in various fields, can be input to generator G, then corresponding pictures can be generated; the generation system can be used to generate data samples easily and quickly.

【技术实现步骤摘要】
一种用于互联网检测中基于对抗生成网络的检测样本生成系统及办法
本专利技术涉及互联网检测领域，更具体的涉及互联网检测领域中一种生成数据样本的系统及方法。
技术介绍
随着人工智能领域机器学习技术的迅猛发展，互联网检测领域也取得了快速发展，在《一种用于互联网检测中基于神经网络的测量检测系统及办法》提到了利用神经网络预测模型的系统及方法。该方法的弱点在于需要大量涵盖所有可能出现的情况的训练数据，数据的分布密集程度必须较强，在现实情况中，由于试纸的反应时间有限，采集数据往往具备比较高昂的成本，为了降低数据获取的难度和成本，特提出利用的对抗生成网络生成样本的形式来增强数据。
技术实现思路
为了解决现有技术中存在的问题，本专利技术由此提供了一种一种用于互联网检测中基于对抗生成网络的检测样本生成系统，包括模型管理服务器端和数据管理服务器，该模型管理服务器端包括数据读取及初始化模块、模型构建模块、模型训练模块、模型检验模块；所述数据读取及初始化模块，用于从非常规数据集中读取所有数据，并读取每条图片数据所对应的控制条件因素的标签，每个控制条件因素称为一个域，每张图片在本控制条件因素的取值称为该图片的域标签值；并读取基线图片数据，所述基线图片数据都是在严格控制条件因素下拍摄完成，使得它们在每个域的域标签值均为零；所述模型构建模块根据所述控制条件因素的标签以及对应的控制条件因素的域标签值、基线图片数据构建生成器模型G和判别器模型D；所述模型训练模块根据对抗生成网络模型的目标函数对判别器模型D及生成器模型G进行训练最终得到对抗生成网络模型，所述对抗生成网络模型对任意的基线数据集图片，给定想要生成图片在各域上的值，将其输入至生成器G，便能生成对应的图片；所述模型检验模块用于对模型的生成能力进行检验。进一步的，所述基线数据指的是：在数据采集中，固定采集时的外部光照、手机相机曝光补偿、白平衡状态、试纸上光校正单元的特征值、手机姿态等进行试纸图片拍摄，每张试纸采集多次次数据，对采集到的数据进行特征提取以计算出所对应的值作为基线数据。进一步的，所述非常规应用场景数据集依据以下方法获得：采集时固定各种控制条件因素，使其不满足常规场景应用条件，控制条件因素包括拍摄角度、光照色温、光亮度、相机白平衡模式、相机曝光补偿模式，所获得的数据经过特征采集算法之后所获得的数据即为非常规应用场景数据集。进一步的，所述模型构建模块采用如下方式构建对抗生成网络模型：首先构建初始化模型，将对抗生成网络模型分成生成器模型G和判别器模型D两个部分构成；生成器G模型和判别器D模型的结构如下：原始输入层→卷积层→池化层→卷积层→池化层→输出层其中，卷积层进行特征提取，池化层进行特征压缩；生成器G模型输入基线图片数据和生成的图片在每个域的值，输出一条图片数据；判别器D模型输入一条图片数据，输出是否为真实拍摄图片和该图片在每个域的值；设定判断图片是否真实的目标函数定义如下：其中，G(x,c)为生成器G在给定输入图片x和域标签值c的情况下所生成的图片；Dsrc(x)为判别器D给出的x是否来自于原始数据的概率分布；E表示求期望；设定判断真实图片域标签的目标函数定义如下：其中，c’为输入图片x原始的域标签值；Dcls(c’|x)为判别器D给出的输入图片x来自于c’的概率分布；设定判断生成的图片域标签的目标函数定义如下：其中，c为生成图片x原始的域标签值；Dcls(c|x)为判别器D给出的生成图片x来自于c的概率分布；为了保证生成的图片除改变了域标签之外，其它内容与输入图片相比并无改变，定义循环一致性目标函数如下：汇总后判别器D与生成器G的目标函数定义如下：其中，λ为权重值，用于控制子项函数的重要程度；由此便可以得到所述对抗生成网络模型的目标函数。进一步的，所述模型训练模块根据判别器D与生成器G的目标函数对判别器D及生成器G进行训练，基本训练流程如下：1)使用原始图和真实域标签值初始化G；2)使用G根据一批原始图和给定标签值生成一批生成图；3)使用上一步中的原始图和生成图初始化D；4)保持G不变，训练D，使LD最小，即D能最准确地区分原始图和生成图；5)保持D不变，训练G，使LG最小，即G能生成最让D区分不出的图；6)循环4、5，直到两个模型达到纳什均衡状态；进一步的，所述的判别器D与生成器G模型可以采取任意的层数和层连接结构。本专利技术还提供了一种用于互联网检测中基于对抗生成网络的检测样本生成方法，其特征在于包括以下步骤：初始化模型管理服务器端，确认数据管理服务器端开启；利用数据读取及初始化模块从非常规数据集中读取所有数据，并读取每条图片数据所对应的控制条件因素的标签，每个控制条件因素称为一个域，每张图片在本控制条件因素的取值称为该图片的域标签值；读取基线图片数据，所述基线图片数据都是在严格控制条件因素下拍摄完成，使得它们在每个域的域标签值均为零；利用模型构建模块根据所述控制条件因素的标签以及对应的控制条件因素的域标签值、基线图片数据构建生成器模型G和判别器模型D；利用模型训练模块根据判别器模型D与生成器模型G的目标函数对判别器模型D及生成器模型G进行训练，最终得到对抗生成网络模型，所述对抗生成网络模型对任意的基线数据集图片，给定想要生成图片在各域上的值，将其输入至生成器模型G，便能生成对应的图片；利用模型检验模块用于对模型的生成能力进行检验。进一步的，所述模型构建模块采用如下算法构建对抗生成网络模型：首先构建初始化模型，将对抗生成网络模型分成生成器模型G和判别器模型D两个部分构成；生成器G模型和判别器D模型的结构如下：原始输入层→卷积层→池化层→卷积层→池化层→输出层其中，卷积层进行特征提取，池化层进行特征压缩；生成器G模型输入基线图片数据和生成的图片在每个域的值，输出一条图片数据；判别器D模型输入一条图片数据，输出是否为真实拍摄图片和该图片在每个域的值；设定判断图片是否真实的目标函数定义如下：其中，G(x,c)为生成器G在给定输入图片x和域标签值c的情况下所生成的图片；Dsrc(x)为判别器D给出的x是否来自于原始数据的概率分布；E表示求期望；设定判断真实图片域标签的目标函数定义如下：其中，c’为输入图片x原始的域标签值；Dcls(c’|x)为判别器D给出的输入图片x来自于c’的概率分布；设定判断生成的图片域标签的目标函数定义如下：其中，c为生成图片x原始的域标签值；Dcls(c|x)为判别器D给出的生成图片x来自于c的概率分布；为了保证生成的图片除改变了域标签之外，其它内容与输入图片相比并无改变，定义循环一致性目标函数如下：汇总后判别器D与生成器G的目标函数定义如下：其中，λ为权重值，用于控制子项函数的重要程度；由此便可以得到所述抗生成网络模型的目标函数。进一步的，所述模型训练模块根据判别器D与生成器G的目标函数对判别器D及生成器G进行训练，基本训练流程如下：1)使用原始图和真实域标签值初始化G；2)使用G根据一批原始图和给定标签值生成一批生成图；3)使用上一步中的原始图和生成图初始化D；4)保持G不变，训练D，使LD最小，即D能最准确地区分原始图和生成图；5)保持D不变，训练G，使LG最小，即G能生成最让D区分不出的图；6)循环4、5，直到两个模型达到纳什均衡状态；进一步本文档来自技高网...

【技术保护点】
1.一种用于互联网检测中基于对抗生成网络的检测样本生成系统，包括模型管理服务器端和数据管理服务器，该模型管理服务器端包括数据读取及初始化模块、模型构建模块、模型训练模块、模型检验模块；所述数据读取及初始化模块，用于从非常规数据集中读取所有数据，并读取每条图片数据所对应的控制条件因素的标签，每个控制条件因素称为一个域，每张图片在本控制条件因素的取值称为该图片的域标签值；并读取基线图片数据，所述基线图片数据都是在严格控制条件因素下拍摄完成，使得它们在每个域的域标签值均为零；所述模型构建模块根据所述控制条件因素的标签以及对应的控制条件因素的域标签值、基线图片数据构建生成器模型G和判别器模型D；所述模型训练模块根据对抗生成网络模型的目标函数对判别器模型D及生成器模型G进行训练最终得到对抗生成网络模型，所述对抗生成网络模型对任意的基线数据集图片，给定想要生成图片在各域上的值，将其输入至生成器G，便能生成对应的图片；所述模型检验模块用于对模型的生成能力进行检验。

【技术特征摘要】
1.一种用于互联网检测中基于对抗生成网络的检测样本生成系统，包括模型管理服务器端和数据管理服务器，该模型管理服务器端包括数据读取及初始化模块、模型构建模块、模型训练模块、模型检验模块；所述数据读取及初始化模块，用于从非常规数据集中读取所有数据，并读取每条图片数据所对应的控制条件因素的标签，每个控制条件因素称为一个域，每张图片在本控制条件因素的取值称为该图片的域标签值；并读取基线图片数据，所述基线图片数据都是在严格控制条件因素下拍摄完成，使得它们在每个域的域标签值均为零；所述模型构建模块根据所述控制条件因素的标签以及对应的控制条件因素的域标签值、基线图片数据构建生成器模型G和判别器模型D；所述模型训练模块根据对抗生成网络模型的目标函数对判别器模型D及生成器模型G进行训练最终得到对抗生成网络模型，所述对抗生成网络模型对任意的基线数据集图片，给定想要生成图片在各域上的值，将其输入至生成器G，便能生成对应的图片；所述模型检验模块用于对模型的生成能力进行检验。2.根据权利要求1所述的用于互联网检测中基于对抗生成网络的检测样本生成系统，其特征在于：所述基线数据指的是：在数据采集中，固定采集时的外部光照、手机相机曝光补偿、白平衡状态、试纸上光校正单元的特征值、手机姿态等进行试纸图片拍摄，每张试纸采集多次次数据，对采集到的数据进行特征提取以计算出所对应的值作为基线数据。3.根据权利要求1所述的用于互联网检测中基于对抗生成网络的检测样本生成系统，其特征在于，所述非常规应用场景数据集依据以下方法获得：采集时固定各种控制条件因素，使其不满足常规场景应用条件，控制条件因素包括拍摄角度、光照色温、光亮度、相机白平衡模式、相机曝光补偿模式，所获得的数据经过特征采集算法之后所获得的数据即为非常规应用场景数据集。4.根据权利要求1所述的用于互联网检测中基于对抗生成网络的检测样本生成系统，其特征在于，所述模型构建模块采用如下方式构建对抗生成网络模型：首先构建初始化模型，将对抗生成网络模型分成生成器模型G和判别器模型D两个部分构成；生成器G模型和判别器D模型的结构如下：原始输入层→卷积层→池化层→卷积层→池化层→输出层其中，卷积层进行特征提取，池化层进行特征压缩；生成器G模型输入基线图片数据和生成的图片在每个域的值，输出一条图片数据；判别器D模型输入一条图片数据，输出是否为真实拍摄图片和该图片在每个域的值；设定判断图片是否真实的目标函数定义如下：其中，G(x,c)为生成器G在给定输入图片x和域标签值c的情况下所生成的图片；Dsrc(x)为判别器D给出的x是否来自于原始数据的概率分布；E表示求期望；设定判断真实图片域标签的目标函数定义如下：其中，c’为输入图片x原始的域标签值；Dcls(c’|x)为判别器D给出的输入图片x来自于c’的概率分布；设定判断生成的图片域标签的目标函数定义如下：其中，c为生成图片x原始的域标签值；Dcls(c|x)为判别器D给出的生成图片x来自于c的概率分布；为了保证生成的图片除改变了域标签之外，其它内容与输入图片相比并无改变，定义循环一致性目标函数如下：汇总后判别器D与生成器G的目标函数定义如下：其中，λ为权重值，用于控制子项函数的重要程度；由此便可以得到所述对抗生成网络模型的目标函数。5.根据权利要求4所述的用于互联网检测中基于对抗生成网络的检测样本生成系统，其特征在于，所述模型训练模块根据判别器D与生成器G的目标函数对判别器D及生成器G进行训练，基本训练流程如下：1)使用原始图和真实域标签值初始化G；2)使用G根据一批原始图和给定标签值生成一批生成图；3)使用上一步中的原始图和生...

【专利技术属性】
技术研发人员：吴凡，郭骁，
申请(专利权)人：柳州康云互联科技有限公司，
类型：发明
国别省市：广西,45