本发明专利技术公开了一种基于多层双判别器生成对抗网络的船舶红外偏振图像生成方法及系统，包括：采集船舶红外图像和红外偏振图像，对采集到的船舶红外图像和红外偏振图像进行预处理，并制作数据集，将数据集划分为训练集和验证集；搭建多层双判别器生成对抗网络；采用训练集对搭建的多层双判别器生成对抗网络进行训练，并采用验证集对训练后的多层双判别器生成对抗网络进行验证，得到可用的多层双判别器生成对抗网络；利用可用的多层双判别器生成对抗网络中的生成器生成船舶红外偏振图像；其中，多层双判别器生成对抗网络呈金字塔结构，由低层网络到高层网络逐层堆叠得到，每层网络由生成器、胶囊判别器和CNN判别器构成。
【技术实现步骤摘要】
本专利技术涉及图像生成，特别是涉及一种基于多层双判别器生成对抗网络的船舶红外偏振图像生成方法及系统。
技术介绍
1、海面船舶目标检测和识别在维护海洋权益和提高海防预警能力有着广阔的应用前景，利用红外探测技术，通过目标与背景间的辐射率差和温度差来识别目标，比可见光与雷达有着更强的识别能力。然而，传统的红外技术易受噪声干扰，且不同温度下同意船舶的红外辐射强度区别大，利用红外偏振成像，不仅可以测得船舶目标的红外辐射强度，还可以获取船舶的红外偏振信息。红外偏振船舶图像样本数据量较少，难以实现海面船舶的目标检测。因此，需要提供一种能够扩展船舶红外偏振图像样本数量的方法。
技术实现思路
1、专利技术目的：为解决红外偏振船舶图像样本数据量较少，难以实现海面船舶的目标检测的问题，本专利技术提出了一种基于多层双判别器生成对抗网络的船舶红外偏振图像生成方法及系统，利用船舶红外图像和偏振图像的不同特征，使用多层级联的生成对抗网络(gan)和胶囊网络(capsnet)相结合，扩充船舶红外偏振图像的样本量，进一步增强图像数量和质量，为后续提高船舶目标检测准确率打下基础。
2、技术方案：一种基于多层双判别器生成对抗网络的船舶红外偏振图像生成方法，包括以下步骤：
3、步骤1：采集船舶红外图像和红外偏振图像，对采集到的船舶红外图像和红外偏振图像进行预处理，得到预处理后的船舶红外图像和红外偏振图像，基于预处理后的船舶红外图像和红外偏振图像，制作数据集，将数据集划分为训练集和验证集；
<
p>4、步骤2：搭建多层双判别器生成对抗网络；5、步骤3：采用训练集对搭建的多层双判别器生成对抗网络进行训练，并采用验证集对训练后的多层双判别器生成对抗网络进行验证，得到可用的多层双判别器生成对抗网络；
6、步骤4：利用可用的多层双判别器生成对抗网络中的生成器生成船舶红外偏振图像；
7、其中，多层双判别器生成对抗网络呈金字塔结构，由低层网络到高层网络逐层堆叠得到，每层网络由生成器、胶囊判别器和cnn判别器构成；其中，最低层网络的生成器仅输入随机噪声，其他层网络的生成器的输入由当前层对应分辨率的随机噪声和上一层生成器输出的船舶图像的上采样叠加得到；
8、所述胶囊判别器为马尔可夫结构的判别器，用于识别对应层生成器生成的船舶红外图像中的轮廓及目标标志的相对位置，并判别对应层生成器生成的船舶图像的轮廓的真假；
9、所述cnn判别器为马尔可夫结构的判别器，用于识别对应层生成器生成的船舶红外偏振图像的偏振特征及其他公共特征，并判别对应层生成器生成的船舶红外偏振图像的偏振特征的真假；
10、其中，步骤3中，采用训练集对搭建的多层双判别器生成对抗网络进行训练，具体包括：从最低层网络到最高层网络依次训练，直至各层生成器与判别器先后达到纳什平衡，每一层网络一旦被训练好后，保持该层生成器的参数不变。
11、进一步的，所述的对采集到的船舶红外图像和红外偏振图像进行预处理，得到预处理后的船舶红外图像和红外偏振图像，具体包括：
12、依次进行图像校正、滤波去噪、配准和裁剪，将同一目标的船舶红外图像和红外偏振图像成对命名存放，得到预处理后的船舶红外图像和红外偏振图像。
13、进一步的，每层网络的生成器均包括五个卷积块，每个卷积块由若干个卷积核、bn、leakyrelu组成；
14、其他层网络的生成器的工作过程表示为：
15、fn＝(fn+1)↑r+ψn(zn+(fn+1)↑r)
16、式中，(fn+1)↑r表示上一层生成器输出的船舶图像的上采样，ψn(·)是第n层生成器内的卷积映射，zn表示第n层对应分辨率的随机噪声。
17、进一步的，每层网络的胶囊判别器包括卷积层、主胶囊层和数字胶囊层；
18、胶囊判别器的第一层为卷积层，由3×3×256步长为1的卷积核构成，使用relu作为激活函数，得到9×9×256的特征图，用于对输入的patch进行特征抽取预处理，所述patch为对对应层生成器生成的船舶红外图像按照一定步长分割成若干个感受野得到；
19、胶囊判别器的第二层为主胶囊层，采用8组3×3×32步长为2的卷积核对卷积层得到的特征图卷积8次，得到8组4×4×32的特征图，然后将每组特征图展开铺成一维特征图，得到8张4×128的特征图，将8张图对应位置组合，得到512个8维向量；
20、胶囊判别器的第三层为数字胶囊层，将主胶囊层得到的4×128×8的特征输入至数字胶囊层，并通过8:16权重矩阵将8维输入空间映射到16维输出空间，输出10个16维向量，再通过squashing函数将模长压缩到0-1之间，数字胶囊层向量的模长为对应patch的判别结果。
21、进一步的，每层网络的cnn判别器包括输入层、隐藏层和全连接层；对应层生成器生成的船舶红外偏振图像输入到输入层，经过隐藏层处理后输出图像的特征值，该图像的特征值作为全连接层的输入值，全连接层使用sigmoid作为激活函数，判断对应层生成器生成的船舶红外偏振图像的偏振特征的真假；所述隐藏层使用bn和leaky relu激活函数。
22、进一步的，步骤3中，采用训练集对搭建的多层双判别器生成对抗网络进行训练，具体包括：
23、对于第n层网络，其训练损失由一个对抗损失和一个重建损失组成，表示为：
24、
25、式中，gn表示第n层网络的生成器，cap-dn表示第n层网络的胶囊判别器，cnn-dn表示第n层网络的cnn判别器，ladv(·)表示对抗损失函数，lrec(·)表示重建损失函数，α表示权重参数；
26、所述对抗损失函数表示为：
27、
28、式中，表示每层生成器生成样本fn符合分布表示每层对应分辨率的真实偏振样本pn符合分布表示每层对应分辨率的真实红外样本in符合分布λ参数的取值在0到1之间，用来调整两个判别器之间的重要性或贡献度；
29、所述重建损失函数lrec(·)表示为：
30、
31、式中，fn表示第n层网络的生成器生成的样本，z*为训练前随机选取的一个值。
32、本专利技术公开了一种船舶红外偏振图像生成系统，包括多层双判别器生成对抗网络；利用多层双判别器生成对抗网络中的生成器生成船舶红外偏振图像；
33、所述多层双判别器生成对抗网络呈金字塔结构，由低层网络到高层网络逐层堆叠得到，每层网络由生成器、胶囊判别器和cnn判别器构成；其中，最低层网络的生成器仅输入随机噪声，其他层网络的生成器的输入由当前层对应分辨率的随机噪声和上一层生成器输出的船舶图像的上采样叠加得到；
34、所述胶囊判别器为马尔可夫结构的判别器，用于识别对应层生成器生成的船舶红外图像中的轮廓及目标标志的相对位置，并判别对应层生成器生成的船舶图像的轮廓的真假；
35、所述cnn判别器为马尔可夫结本文档来自技高网
...
【技术保护点】
1.一种基于多层双判别器生成对抗网络的船舶红外偏振图像生成方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种基于多层双判别器生成对抗网络的船舶红外偏振图像生成方法，其特征在于：所述的对采集到的船舶红外图像和红外偏振图像进行预处理，得到预处理后的船舶红外图像和红外偏振图像，具体包括：
3.根据权利要求1所述的一种基于多层双判别器生成对抗网络的船舶红外偏振图像生成方法，其特征在于：每层网络的生成器均包括五个卷积块，每个卷积块由若干个卷积核、BN、LeakyReLU组成；
4.根据权利要求1所述的一种基于多层双判别器生成对抗网络的船舶红外偏振图像生成方法，其特征在于：每层网络的胶囊判别器包括卷积层、主胶囊层和数字胶囊层；
5.根据权利要求1所述的一种基于多层双判别器生成对抗网络的船舶红外偏振图像生成方法，其特征在于：每层网络的CNN判别器包括输入层、隐藏层和全连接层；对应层生成器生成的船舶红外偏振图像输入到输入层，经过隐藏层处理后输出图像的特征值，该图像的特征值作为全连接层的输入值，全连接层使用Sigmoid作为激活函数，判断对应层生成器生成的船舶红外偏振图像的偏振特征的真假；所述隐藏层使用BN和Leaky ReLU激活函数。
6.根据权利要求1所述的一种基于多层双判别器生成对抗网络的船舶红外偏振图像生成方法，其特征在于：步骤3中，采用训练集对搭建的多层双判别器生成对抗网络进行训练，具体包括：
7.一种船舶红外偏振图像生成系统，其特征在于：包括多层双判别器生成对抗网络；利用多层双判别器生成对抗网络中的生成器生成船舶红外偏振图像；
8.根据权利要求7所述的一种船舶红外偏振图像生成系统，其特征在于：所述多层双判别器生成对抗网络按照下式训练得到：
9.根据权利要求7所述的一种船舶红外偏振图像生成系统，其特征在于：
10.根据权利要求8所述的一种船舶红外偏振图像生成系统，其特征在于：采用训练集对搭建的多层双判别器生成对抗网络进行训练，具体包括：
...
【技术特征摘要】
1.一种基于多层双判别器生成对抗网络的船舶红外偏振图像生成方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种基于多层双判别器生成对抗网络的船舶红外偏振图像生成方法，其特征在于：所述的对采集到的船舶红外图像和红外偏振图像进行预处理，得到预处理后的船舶红外图像和红外偏振图像，具体包括：
3.根据权利要求1所述的一种基于多层双判别器生成对抗网络的船舶红外偏振图像生成方法，其特征在于：每层网络的生成器均包括五个卷积块，每个卷积块由若干个卷积核、bn、leakyrelu组成；
4.根据权利要求1所述的一种基于多层双判别器生成对抗网络的船舶红外偏振图像生成方法，其特征在于：每层网络的胶囊判别器包括卷积层、主胶囊层和数字胶囊层；
5.根据权利要求1所述的一种基于多层双判别器生成对抗网络的船舶红外偏振图像生成方法，其特征在于：每层网络的cnn判别器包括输入层、隐藏层和全连接层；对应层生成器生成的船舶红外偏振图像输入到输入层，经过隐藏层...
【专利技术属性】
技术研发人员：朱志宇，宋施霖，张哲卿，
申请(专利权)人：江苏科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。