【技术实现步骤摘要】
本申请属于图像生成，特别涉及一种可见光图像生成红外图像的方法和系统。
技术介绍
1、红外目标图像对于军事用途来说十分重要，然而红外目标图像较为匮乏。针对红外目标图像缺乏的问题，现有技术中大多采用基于生成对抗网络模型的数据增广技术将可见光图像进行处理以生成近红外图像，以此扩充红外样本数量。然而在生成对抗网络中，pix2pix和cyclegan为可见光图像转换为红外图像提供了通用网络框架，但这些通用方法生成的红外图像在不同程度上存在纹理不清晰、结构缺失的问题。
技术实现思路
1、本申请的目的是提供了一种可见光图像生成红外图像的方法和系统，以解决或减轻
技术介绍
中的至少一个问题。
2、一方面，本申请的技术方案是：一种可见光图像生成红外图像的方法，包括：
3、构建图像尺寸一致、数量比例为1:1的红外图像与可见光图像组成的配对输入数据；
4、构建语义分割模型，将配对输入数据中的可见光图像输入到语义分割模型中得到可见光图像的语义特征；
5、构建用于生成红外图像的生成器，所述生成器包括编码器、解码器以及空洞卷积模型，通过将配对输入数据中的可见光图像输入到编码器中进行特征提取，得到可见光图像的特征编码，之后将可见光图像的语义特征与特征编码在空洞卷积模型中进行合并，并经过解码器解码后得到生成的红外图像；
6、构建判别器及损失函数，通过向判别器及损失函数中输入配对输入数据中的红外图像，判别器及损失函数对配对输入数据中的红外图像及生成器生成的红外
7、获取真实的可见光图像，将真实的可见光图像输入到红外图像生成模型中，从而得到真实的可见光图像对应的红外图像。
8、在本申请优选实施方式中，构建配对输入数据的过程为：
9、采用具有红外传感器及可见光传感器的无人机在不同时间和不同场景下采集红外与可见光视频序列，调整红外与可见光视频序列的尺寸一致后，进行图像配对，构建数量1:1的成对红外图像与可见光图像的配对输入数据。
10、在本申请优选实施方式中，所述语义分割模型为深度5的unet网络，unet网络包括5个编码块和5个解码块，每个编码块由卷积核大小为4、步长为2、填充大小为1的下采样卷积层，批归一化层和relu激活层组成，5个编码块对应的下采样卷积层输出通道分别为[64,128,256,512,1024]，每个解码块由卷积核大小为4、步长为2、填充大小为1的反卷积层，批归一化层和relu激活层组成，5个解码块对应的反卷积层输出通道分别为[512,256,128,64,3]。
11、在本申请优选实施方式中，所述生成器的编码器为基于深度残差网络的编码器，该编码器包括多个卷积模块以及残差模块组成，所述深度残差网络的编码器首先对输入的可见光图像进行卷积操作，其中卷积核大小为 7×7，步长为2，填充大小为3×3；之后，使用基于resnet34的四层残差网络作为预训练网络结构，采用跳跃连接的方式增强区域块的泛化表征能力，将配对输入数据的可见光图像输入到搭建好的编码器中即得到可见光图像的特征编码，包括浅层特征与底层特征。
12、在本申请优选实施方式中，所述生成器的空洞卷积模型是一种串、并联并存的连接网络，空洞卷积模型将可见光图像的语义特征与特征编码进行融合，得到可见光图像的空间特征信息，并输入到后续的解码器中。
13、在本申请优选实施方式中，所述生成器的解码器采用一种残差网络的瓶颈连接结构，利用1×1的卷积核来提升网络的计算效率，利用转置卷积上采样将边长变为原来的32倍，还原原始的可见光图像的尺寸得到生成的红外图像。
14、在本申请优选实施方式中，所述判别器由一个五层卷积网络构成，判别器首先对生成器生成的红外图像进行5次卷积操作，得到一个30×30像素的特征图，然后将获得的特征图输入交叉熵函数，判断其是否符合目标图像分布。
15、在本申请优选实施方式中，所述损失函数包括生成对抗损失函数、l2损失函数和语义分割损失函数，
16、所述生成对抗损失函数为：
17、{min}_{g}{max}_{d}{l}_{adv}(g,d)=\sum{[logd(y)]}+\sum{[1-logd(g(x))]}
18、式中， g为生成器， d为判别器， x为真实的可见光图像， y为真实的红外图像， g(x)为对抗网络生成的红外图像；
19、所述l2损失函数为：
20、
21、式中， g为生成器， x为真实的可见光图像， g(x)为对抗网络生成的红外图像。
22、所述语义分割损失函数为：
23、{l}^{r}_{seg}={e}_{{x,c}^{s}}[-{c}^{s}log(s(x))]
24、其中，为场景类别，s表示语义编码分支，x为真实的可见光图像。
25、另一方面，本申请提供的技术方案是：一种可见光图像生成红外图像的系统，包括：
26、数据输入模块，用于构建图像尺寸一致、数量比例为1:1的红外图像与可见光图像组成的配对输入数据；
27、语义分割模型，用于将配对输入数据中的可见光图像输入到语义分割模型中得到可见光图像的语义特征；
28、生成器，用于生成红外图像，所述生成器包括编码器、解码器以及空洞卷积模型，通过将配对输入数据中的可见光图像输入到编码器中进行特征提取，得到可见光图像的特征编码，之后将可见光图像的语义特征与特征编码在空洞卷积模型中进行合并，并经过解码器解码后得到生成的红外图像；
29、判别器及损失函数模块，通过向判别器及损失函数模块中输入配对输入数据中的红外图像，判别器及损失函数模块对配对输入数据中的红外图像及生成器生成的红外图像进行损失判别，进而反馈优化生成器，从而得到红外图像生成模型；
30、红外图像生成模型，用于获取真实的可见光图像，将真实的可见光图像输入到红外图像生成模型中，从而得到真实的可见光图像对应的红外图像。
31、在本申请优选实施方式中，所述数据输入模块构建配对输入数据的过程为：
32、采用具有红外传感器及可见光传感器的无人机在不同时间和不同场景下采集红外与可见光视频序列，调整红外与可见光视频序列的尺寸一致后，进行图像配对，从而构建图像尺寸一致、数量比例为1:1的成对的红外图像与可见光图像的配对输入数据。
33、在本申请优选实施方式中，所述语义分割模型为深度是5的unet网络，该unet网络包括5个编码块和5个解码块，每个编码块由卷积核大本文档来自技高网...
【技术保护点】
1.一种可见光图像生成红外图像的方法，其特征在于，包括：
2.如权利要求1所述的可见光图像生成红外图像的方法，其特征在于，构建配对输入数据的过程为：
3.如权利要求1所述的可见光图像生成红外图像的方法，其特征在于，所述语义分割模型为深度是5的UNet网络，该UNet网络包括5个编码块和5个解码块，每个编码块由卷积核大小为4、步长为2、填充大小为1的下采样卷积层，批归一化层和Relu激活层组成，5个编码块对应的下采样卷积层输出通道分别为[64,128,256,512,1024]；每个解码块由卷积核大小为4、步长为2、填充大小为1的反卷积层，批归一化层和Relu激活层组成，5个解码块对应的反卷积层输出通道分别为[512,256,128,64,3]。
4.如权利要求1所述的可见光图像生成红外图像的方法，其特征在于，所述生成器的编码器为基于深度残差网络的编码器，该编码器包括多个卷积模块以及残差模块，所述深度残差网络的编码器首先对输入的可见光图像进行卷积操作，其中卷积核大小为 7×7，步长为2，填充大小为3×3；之后，使用基于ResNet34的四层残差网
5.如权利要求4所述的可见光图像生成红外图像的方法，其特征在于，所述生成器的空洞卷积模型是一种串、并联并存的连接网络，空洞卷积模型将可见光图像的语义特征与特征编码进行融合，得到可见光图像的空间特征信息，并输入到后续的解码器中。
6.如权利要求5所述的可见光图像生成红外图像的方法，其特征在于，所述生成器的解码器采用一种残差网络的瓶颈连接结构，利用1×1的卷积核来提升网络的计算效率，利用转置卷积上采样将边长变为原来的32倍，还原原始的可见光图像的尺寸得到生成的红外图像。
7.如权利要求1所述的可见光图像生成红外图像的方法，其特征在于，所述判别器由一个五层卷积网络构成，判别器首先对生成器生成的红外图像进行5次卷积操作，得到一个30×30像素的特征图，然后将获得的特征图输入交叉熵函数，判断其是否符合目标图像分布。
8.如权利要求7所述的可见光图像生成红外图像的方法，其特征在于，所述损失函数包括生成对抗损失函数、L2损失函数和语义分割损失函数，
9.一种可见光图像生成红外图像的系统，其特征在于，包括：
10.如权利要求9所述的可见光图像生成红外图像的系统，其特征在于，所述数据输入模块构建配对输入数据的过程为：
11.如权利要求9所述的可见光图像生成红外图像的系统，其特征在于，所述语义分割模型为深度是5的UNet网络，该UNet网络包括5个编码块和5个解码块，每个编码块由卷积核大小为4、步长为2、填充大小为1的下采样卷积层，批归一化层和Relu激活层组成，5个编码块对应的下采样卷积层输出通道分别为[64,128,256,512,1024]；每个解码块由卷积核大小为4、步长为2、填充大小为1的反卷积层，批归一化层和Relu激活层组成，5个解码块对应的反卷积层输出通道分别为[512,256,128,64,3]。
12.如权利要求9所述的可见光图像生成红外图像的系统，其特征在于，所述生成器的编码器为基于深度残差网络的编码器，该编码器包括多个卷积模块以及残差模块，所述深度残差网络的编码器首先对输入的可见光图像进行卷积操作，其中卷积核大小为 7×7，步长为2，填充大小为3×3；之后，使用基于ResNet34的四层残差网络作为预训练网络结构，采用跳跃连接的方式增强区域块的泛化表征能力，将配对输入数据的可见光图像输入到搭建好的编码器中即得到可见光图像的特征编码，包括浅层特征与底层特征。
13.如权利要求12所述的可见光图像生成红外图像的系统，其特征在于，所述生成器的空洞卷积模型是一种串、并联并存的连接网络，空洞卷积模型将可见光图像的特征编码及语义特征进行融合，得到可见光图像的空间特征信息，并输入到后续的解码器中。
14.如权利要求13所述的可见光图像生成红外图像的系统，其特征在于，所述生成器的解码器采用一种残差网络的瓶颈连接结构，利用1×1的卷积核来提升网络的计算效率，利用转置卷积上采样将边长变为原来的32倍，还原原始的可见光图像的尺寸得到生成的红外图像。
15.如权利要求9所述的可见光图像生成红外图像的系统，其特征在于，所述判别器由一个五层卷积网络构成，判别器首先对生成器生成的红外图像进行5次卷积操作，得到一个30×30像素的特征图，然后将获得的特征图输入交叉熵函数，判断其...
【技术特征摘要】
1.一种可见光图像生成红外图像的方法，其特征在于，包括：
2.如权利要求1所述的可见光图像生成红外图像的方法，其特征在于，构建配对输入数据的过程为：
3.如权利要求1所述的可见光图像生成红外图像的方法，其特征在于，所述语义分割模型为深度是5的unet网络，该unet网络包括5个编码块和5个解码块，每个编码块由卷积核大小为4、步长为2、填充大小为1的下采样卷积层，批归一化层和relu激活层组成，5个编码块对应的下采样卷积层输出通道分别为[64,128,256,512,1024]；每个解码块由卷积核大小为4、步长为2、填充大小为1的反卷积层，批归一化层和relu激活层组成，5个解码块对应的反卷积层输出通道分别为[512,256,128,64,3]。
4.如权利要求1所述的可见光图像生成红外图像的方法，其特征在于，所述生成器的编码器为基于深度残差网络的编码器，该编码器包括多个卷积模块以及残差模块，所述深度残差网络的编码器首先对输入的可见光图像进行卷积操作，其中卷积核大小为 7×7，步长为2，填充大小为3×3；之后，使用基于resnet34的四层残差网络作为预训练网络结构，采用跳跃连接的方式增强区域块的泛化表征能力，将配对输入数据中的可见光图像输入到搭建好的编码器中即得到可见光图像的特征编码，包括浅层特征与底层特征。
5.如权利要求4所述的可见光图像生成红外图像的方法，其特征在于，所述生成器的空洞卷积模型是一种串、并联并存的连接网络，空洞卷积模型将可见光图像的语义特征与特征编码进行融合，得到可见光图像的空间特征信息，并输入到后续的解码器中。
6.如权利要求5所述的可见光图像生成红外图像的方法，其特征在于，所述生成器的解码器采用一种残差网络的瓶颈连接结构，利用1×1的卷积核来提升网络的计算效率，利用转置卷积上采样将边长变为原来的32倍，还原原始的可见光图像的尺寸得到生成的红外图像。
7.如权利要求1所述的可见光图像生成红外图像的方法，其特征在于，所述判别器由一个五层卷积网络构成，判别器首先对生成器生成的红外图像进行5次卷积操作，得到一个30×30像素的特征图，然后将获得的特征图输入交叉熵函数，判断其是否符合目标图像分布。
8.如权利要求7所述的可见光图像生成红外图像的方法，其特征在于，所述损失函数包括生成对抗损失函数、l2损失函数和语义分割损失函数，
9.一种可见光图像生成红外图像的系统，其特征在于，包括：
10.如权利要求9所述的可见光图像生成红外图像的系统，其特征在于，所述数据输入模块构建配对输入数据的过程为：
【专利技术属性】
技术研发人员：张靖，梅利彬，罗文强，李卫红，王军，张安，
申请(专利权)人：中国航空工业集团公司西安飞机设计研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。