一种基于生成对抗网络的SAR时敏目标样本增广方法技术

本发明专利技术一种基于生成对抗网络的SAR时敏目标样本增广方法，步骤如下：1)构建区域卷积生成对抗网络，实现两模型的前向与反向传播功能；2)制作区域卷积生成对抗网络训练数据集，从目标检测训练数据集中提取切片；3)对区域卷积生成对抗网络进行训练，利用对抗网络训练数据集对区域卷积生成对抗网络进行迭代训练，直到区域卷积生成对抗网络中的生成模型获得稳定且符合期望的输出结果，并保存生成模型与判别模型的权重；4)调整参数批量生成样本，对完成训练的区域卷积生成对抗网络中生成模型装订所保存的参数，根据实际使用需求设置参数输入至生成模型，生成符合期望框体的样本；5)制作用于目标检测识别算法训练的数据集。

A method of SAR time sensitive target sample enlargement based on generated countermeasure network

【技术实现步骤摘要】
一种基于生成对抗网络的SAR时敏目标样本增广方法
本专利技术涉及一种基于生成对抗网络的SAR时敏目标样本增广方法，适用于基于卷积神经网络的针对各类SAR时敏的目标检测识别网络和深度学习框架，通过少量的训练数据使用生成对抗网络进行样本增广，使之可以达到用于训练卷积神经网络的数据体量，用于提升算法能力。
技术介绍
由于卷积神经网络训练中需要对大量参数进行调优，因此对训练数据的数量有极高的需求。而在军事应用领域，由于感兴趣目标的非合作性导致样本数据难以获取，因此对训练数据进行数据增广成为应用深度学习技术的主要手段之一，该方法主要是对图像进行变换操作，如平移或旋转、镜像等，来增加训练数据的数量。此类方法操作简单，仅需要对原始图像数据进行平移、旋转等基础变换操作，即可对数据量实现极大的增加。但此类方法仅适用于分类网络，该类型网络输入为仅包含待分类目标的图像切片，而目标检测识别网络所需要的输入为包含较多目标的高分辨率图像，平移操作将影响框体预测的准确性，仅旋转操作对目标检测识别网络适用。另一种数据增广的方法则是利用了已有的目标检测的训练样本标注信息，将目标从训练数据中截取，并通过旋转等变换后，粘贴在各种原始数据集中，实现了目标的数量的增广。但此种方法并没有增加目标样本与背景的数量，仅增加了样本出现的次数、丰富了样本的位置。对目标检测识别任务而言，这种方法仅能提升算法的目标定位能力，而对少量目标的多次训练，很可能造成对目标的过拟合，降低对其它目标的检测识别能力。
技术实现思路
本专利技术解决的技术问题是：克服现有技术的不足，提供了一种基于生成对抗网络的SAR时敏目标样本增广方法，通过对少量的标注数据，以及大量的无目标背景图片，通过生成对抗网络算法的半监督训练，可以生成大量的训练样本。本专利技术的技术方案是：一种基于生成对抗网络的SAR时敏目标样本增广方法，步骤如下：1)构建区域卷积生成对抗网络，网络包含生成模型和判别模型两部分，分别实现两模型的前向与反向传播功能；2)制作区域卷积生成对抗网络训练数据集，从目标检测训练数据集中提取切片，其中有包含目标的切片以及未包含目标的切片；所述包含目标的切片需标记目标所在区域的相对位置，并进行数据增广；3)对区域卷积生成对抗网络进行训练，利用步骤2)中的对抗网络训练数据集对步骤1)所构建的区域卷积生成对抗网络进行迭代训练，直到区域卷积生成对抗网络中的生成模型获得稳定且符合期望的输出结果，并保存生成模型与判别模型的权重；4)调整参数批量生成样本，对步骤3)中完成训练的区域卷积生成对抗网络中生成模型装订所保存的参数，根据实际使用需求设置参数输入至生成模型，生成符合期望框体的样本；5)制作用于目标检测识别算法训练的数据集。所述的步骤1)构建区域卷积生成对抗网络的方法为：111)构建生成模型，输入为一个100维向量和一个目标框体信息四维向量；112)构建判别模型，输入为真实图像或生成器所生成的尺寸为64×64的单或多通道图像，真实图像由包含目标以及不包含目标两部分组成，包含目标的图像需提供目标框体的四维向量用于训练，其框体中心为图像中心；113)建立生成模型和判别模型的损失函数，其中生成模型被判别模型识别为正样本的概率越大，预测框体与期望框体的偏差越小，生成模型的损失函数值应越小；生成样本被判别模型识别为正样本的概率越小，预测框体与输入样本框体的偏差越小，判别模型的损失函数值越小。所述步骤1)构建生成模型的方法为：121)利用4×4反卷积，构建多层反卷积结构，各反卷积层卷积核数量前一层依次为后一层的二倍，最后一层卷积层卷积核数量与期望生成图像的通道数相同；122)100维向量直接输入至首层反卷积，投射至一个4×4×ng×2d-1维的特征图，其中ng参数为生成器超参数，特征图输入至第二层进行反卷积计算；123)框体信息则直接映射为各特征图尺寸的掩膜，作为额外的输出通道并入除最后一层外各层输出的特征图。所述步骤2)构建判别模型的方法为：21)利用4×4步长为2的卷积，构建多层卷积结构，各卷积层卷积核数量后一层依次为前一层的二倍，最后一层卷积层为框体预测层，输出为预测框体坐标以及对应得分；22)在倒数第二层引出框体预测分值，建立区域建议网络，其输入为倒数第二层输出的特征图，输出为一组预测框体，作为最后一层框体预测层的另一输入。所述的步骤3)对区域卷积生成对抗网络进行训练的方法为：31)随机产生一批100维向量以及四维目标框体向量作为生成模型输入；2)将步骤31)中的数据输入至生成模型进行前向计算，生成一组生成样本；33)从真实样本数据集中随机采样一批与生成样本数量相同的真实样本；34)将步骤33)中的包含生成样本与真实样本的数据集输入至判别模型进行前向计算；35)使用步骤33)中样本的真值与步骤34)判别模型的预测结果，对判别模型进行梯度下降，更新判别模型的参数；36)使用步骤31)中的框体期望值与步骤34)的判别模型预测结果，对生成模型进行梯度下降，更新生成模型的参数；37)重复步骤31)至步骤36)，直到区域卷积生成对抗网络中的生成模型获得稳定且符合期望的输出结果，当步骤33)完成对真实样本的全部采样，则重新对真实样本数据集随机采样。本专利技术与现有技术相比的优点在于：1)通过生成对抗网络的无监督学习能力，充分挖掘了标注样本中的特征，并生成了与训练样本相似但略有差异的目标，提升了目标数量的同时，还增加了目标的多样性；2)通过对生成对抗网络的生成模型和判别模型，分别增加框体标记的条件分支与定位分支，使生成样本图片的同时还能生成样本标注框，通过粘贴到无目标背景图片，可以生成大量的具有不同背景的训练样本，增加目标检测识别网路对背景的鲁棒性。3)相较于传统数据增广方法，本方案一方面极大程度地提高了目标样本的多样化程度，帮助训练中提升目标检测识别的召回率；另一方面减少了手工标注的步骤，可以直接生成目标切片，并可通过大量的目标切片复制于无目标的背景图中，丰富了目标检测识别算法训练集的背景，帮助训练中提升目标检测识别的准确率。附图说明图1为本专利技术方案实施流程图。图2为生成模型网络结构图。图3为判别模型网络结构图。具体实施方式本方法的核心技术是一种区域卷积生成对抗网络(RegionswithConvolutionalGenerativeAdversarialNetworks，RCGAN)，这是一种具能生成图像同时还生成目标位置的生成网络模型，通过使用全卷积神经网络、区域条件生成、区域判别的技术手段，得到了一种能训练稳定的网络结构，在多种数据集上实现了附带区域信息的样本生成。RCGAN主要包括生成模型G和判别模型D，相较于传统生成对抗网络(GenerativeAdversarialNetwork，GAN)分别增加了区域条件分支与定位分支，实现了本文档来自技高网...

【技术保护点】
1.一种基于生成对抗网络的SAR时敏目标样本增广方法，其特征在于步骤如下：/n1)构建区域卷积生成对抗网络，网络包含生成模型和判别模型两部分，分别实现两模型的前向与反向传播功能；/n2)制作区域卷积生成对抗网络训练数据集，从目标检测训练数据集中提取切片，其中有包含目标的切片以及未包含目标的切片；所述包含目标的切片需标记目标所在区域的相对位置，并进行数据增广；/n3)对区域卷积生成对抗网络进行训练，利用步骤2)中的对抗网络训练数据集对步骤1)所构建的区域卷积生成对抗网络进行迭代训练，直到区域卷积生成对抗网络中的生成模型获得稳定且符合期望的输出结果，并保存生成模型与判别模型的权重；/n4)调整参数批量生成样本，对步骤3)中完成训练的区域卷积生成对抗网络中生成模型装订所保存的参数，根据实际使用需求设置参数输入至生成模型，生成符合期望框体的样本；/n5)制作用于目标检测识别算法训练的数据集。/n

【技术特征摘要】
1.一种基于生成对抗网络的SAR时敏目标样本增广方法，其特征在于步骤如下：
1)构建区域卷积生成对抗网络，网络包含生成模型和判别模型两部分，分别实现两模型的前向与反向传播功能；
2)制作区域卷积生成对抗网络训练数据集，从目标检测训练数据集中提取切片，其中有包含目标的切片以及未包含目标的切片；所述包含目标的切片需标记目标所在区域的相对位置，并进行数据增广；
3)对区域卷积生成对抗网络进行训练，利用步骤2)中的对抗网络训练数据集对步骤1)所构建的区域卷积生成对抗网络进行迭代训练，直到区域卷积生成对抗网络中的生成模型获得稳定且符合期望的输出结果，并保存生成模型与判别模型的权重；
4)调整参数批量生成样本，对步骤3)中完成训练的区域卷积生成对抗网络中生成模型装订所保存的参数，根据实际使用需求设置参数输入至生成模型，生成符合期望框体的样本；
5)制作用于目标检测识别算法训练的数据集。


2.根据权利要求1所述的一种基于生成对抗网络的SAR时敏目标样本增广方法，其特征在于：所述的步骤1)构建区域卷积生成对抗网络的方法为：
111)构建生成模型，输入为一个100维向量和一个目标框体信息四维向量；
112)构建判别模型，输入为真实图像或生成器所生成的尺寸为64×64的单或多通道图像，真实图像由包含目标以及不包含目标两部分组成，包含目标的图像需提供目标框体的四维向量用于训练，其框体中心为图像中心；
113)建立生成模型和判别模型的损失函数，其中生成模型被判别模型识别为正样本的概率越大，预测框体与期望框体的偏差越小，生成模型的损失函数值应越小；生成样本被判别模型识别为正样本的概率越小，预测框体与输入样本框体的偏差越小，判别模型的损失函数值越小。


3.根据权利要求2所述的一种基于生成对抗网络的SAR时敏目标样本增广方法，其特征在于：所述步骤1)构建生成模型的方法为：
121)利用4×4反卷积，构建多层反卷积结...

【专利技术属性】
技术研发人员：丛龙剑，靳松直，周斌，张辉，郝梦茜，刘严羊硕，
申请(专利权)人：北京航天自动控制研究所，
类型：发明
国别省市：北京;11